[論文レビュー] Towards Involving End-users in Interactive Human-in-the-loop AI Fairness

Yuri Nakao, Simone Stumpf+3 more|arXiv (Cornell University)|Apr 22, 2022

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿は、解釈可能性の特徴（例：モデルの信頼度や属性値）に基づいて特徴量の重みを調整できるようにすることで、非技術的なエンドユーザーが説明可能なデバッグを通じてローン意思決定AIシステムにおける公平性の問題を特定・是正できる、インタラクティブで人間が関与するAI公平性インターフェースを提案している。文化的要因、特にマスキュリニティ（男性性）、アンビエティーオイドゥランス（不確実性回避）、インドラージェンス（快楽主義）が、公平性の判断に顕著な影響を与える。

ABSTRACT

Ensuring fairness in artificial intelligence (AI) is important to counteract bias and discrimination in far-reaching applications. Recent work has started to investigate how humans judge fairness and how to support machine learning (ML) experts in making their AI models fairer. Drawing inspiration from an Explainable AI (XAI) approach called \emph{explanatory debugging} used in interactive machine learning, our work explores designing interpretable and interactive human-in-the-loop interfaces that allow ordinary end-users without any technical or domain background to identify potential fairness issues and possibly fix them in the context of loan decisions. Through workshops with end-users, we co-designed and implemented a prototype system that allowed end-users to see why predictions were made, and then to change weights on features to "debug" fairness issues. We evaluated the use of this prototype system through an online study. To investigate the implications of diverse human values about fairness around the globe, we also explored how cultural dimensions might play a role in using this prototype. Our results contribute to the design of interfaces to allow end-users to be involved in judging and addressing AI fairness through a human-in-the-loop approach.

研究の動機と目的

• 非技術的なエンドユーザーがAI駆動のローン意思決定における公平性の問題を評価・是正できる、インタラクティブで解釈可能な人間が関与するインターフェースを設計すること。
• 技術的・専門的知識のないエンドユーザーがモデルの説明を用いて、AIシステムにおける公平性をどのように認識し、行動するかを調査すること。
• 文化的要因がエンドユーザーのAIシステムにおける公平性の判断と是正行動に果たす役割を明らかにすること。
• プロトタイプとオンライン研究を通じて、ユーザー主導の重み調整がモデルの公平性をどの程度向上させるかを評価すること。

提案手法

• エンドユーザーが公平性関連の誤予測を特定・是正できるように支援するため、インタラクティブ機械学習における説明可能なデバッグを採用した。
• 信頼度スコア、特徴量の重み、意思決定境界、類似度指標を可視化することで、モデルの意思決定を提示するプロトタイプシステムを設計した。
• エンドユーザーが特徴量の重みをインタラクティブに変更することで、モデルの挙動を調整し、公平性の向上をテストできるようにした。
• 非エキスパート向けの使いやすさを確保するため、エンドユーザーとの共同デザインワークショップを実施し、インターフェース設計を支援した。
• 文化的な差異を分析するため、ホフステッドの文化的次元フレームワークを用いた。
• プロトタイプの使いやすさと公平性認識・調整への影響を評価する目的で、エンドユーザーを対象としたオンライン研究を実施した。

実験結果

リサーチクエスチョン

• RQ1 技術的専門知識のないエンドユーザーが、AIシステムにおける公平性の問題を特定・是正できるように、インタラクティブで人間が関与するインターフェースをどのように設計できるか。
• RQ2 エンドユーザーはAIローン意思決定における公平性をどのように評価するのか。また、信頼度、重み、属性値などの要因は、その判断にどのような影響を与えるか。
• RQ3 マスキュリニティ（男性性）、アンビエティーオイドゥランス（不確実性回避）、インドラージェンス（快楽主義）といった文化的要因が、エンドユーザーの公平性の判断と是正行動にどの程度影響を与えるか。

主な発見

• エンドユーザーは、モデルの信頼度、特徴量の重み、属性値を分析し、個々のローン申請のグラフィカルな比較を用いて、公平性を効果的に評価した。
• プロトタイプにより、エンドユーザーが特徴量の重みを調整することで、意味のある公平性の改善が可能であることが示され、ユーザー主導のモデル是正の実現可能性が裏付けられた。
• 文化的要因が公平性の認識に顕著な影響を与え、マスキュリニティ（男性性）、アンビエティーオイドゥランス（不確実性回避）、インドラージェンス（快楽主義）が、ユーザー行動と判断を形作る主要因となった。
• 説明が明確に提示された場合、ユーザーはモデルの挙動を理解しており、解釈可能性が効果的なエンドユーザー参加のための不可欠な要因であることが示された。
• 研究により、エンドユーザーは、認識された正義とリスクに基づいて公平性を優先しており、文化的文脈によってその優先順位が異なることが明らかになった。これは、文化的に配慮したAI設計の必要性を強調している。
• リアルタイムのフィードバックやモデル再トレーニングの制限はあったが、オフラインのプロトタイプが、人間が関与する公平性の是正介入の可能性を効果的に示した。