[論文レビュー] Challenging the Human-in-the-loop in Algorithmic Decision-making

Sebastian Tschiatschek, Eugenia Stamboliev+3 more|arXiv (Cornell University)|May 17, 2024

Simulation Techniques and ApplicationsDecision Sciences被引用数 3

ひとこと要約

この論文は、アルゴリズム意思決定（ADM）における人間による監視（HIL）が、本質的に倫理的または効果的な結果を保証するとする仮定に挑戦する。実務的意思決定者（PDM）は、価値の不一致と満たされていない情報ニーズのため、戦略的意思決定者（SDM）の社会的目標を意図せず損なう可能性がある。これは、PDMがADMシステムにおける政治的・倫理的アクターとして、しばしば軽視されがちな重要な役割を果たしていることを示している。

ABSTRACT

We discuss the role of humans in algorithmic decision-making (ADM) for socially relevant problems from a technical and philosophical perspective. In particular, we illustrate tensions arising from diverse expectations, values, and constraints by and on the humans involved. To this end, we assume that a strategic decision-maker (SDM) introduces ADM to optimize strategic and societal goals while the algorithms' recommended actions are overseen by a practical decision-maker (PDM) - a specific human-in-the-loop - who makes the final decisions. While the PDM is typically assumed to be a corrective, it can counteract the realization of the SDM's desired goals and societal values not least because of a misalignment of these values and unmet information needs of the PDM. This has significant implications for the distribution of power between the stakeholders in ADM, their constraints, and information needs. In particular, we emphasize the overseeing PDM's role as a potential political and ethical decision maker, who acts expected to balance strategic, value-driven objectives and on-the-ground individual decisions and constraints. We demonstrate empirically, on a machine learning benchmark dataset, the significant impact an overseeing PDM's decisions can have even if the PDM is constrained to performing only a limited amount of actions differing from the algorithms' recommendations. To ensure that the SDM's intended values are realized, the PDM needs to be provided with appropriate information conveyed through tailored explanations and its role must be characterized clearly. Our findings emphasize the need for an in-depth discussion of the role and power of the PDM and challenge the often-taken view that just including a human-in-the-loop in ADM ensures the 'correct' and 'ethical' functioning of the system.

研究の動機と目的

• アルゴリズム意思決定（ADM）システムにおける実務的意思決定者（PDM）の役割を、特に公共サービスにおいて批判的に検討すること。
• 戦略的意思決定者（SDM）とPDMの間の価値の不一致および満たされていない情報ニーズが、ADMにおける社会的目標の実現を損なう仕組みを調査すること。
• 人間による監視が、ADMシステムの倫理的または正しく機能することを保証するとする仮定に挑戦すること。
• SDMとPDMのそれぞれの情報ニーズに応じた、価値に基づいた説明の必要性を強調すること。
• ADMガバナンス枠組みにおいて、SDMとPDMの間の権力配分と役割の明確化を再考するよう提言すること。

提案手法

• 研究は、戦略的意思決定者（SDM）が長期的目標を設定し、実務的意思決定者（PDM）がアルゴリズムの推奨に従って最終的な個別的意思決定を行う二段階のADMフレームワークを概念化する。
• SDMとPDMの間の価値、制約、情報ニーズの相違に起因する緊張の理論的および実証的分析を導入する。
• 機械学習のベンチマークデータセットを用いた実験を通じて、PDMがアルゴリズムの推奨からわずかに逸脱する場合に、システム全体の結果が著しく変化する様子をシミュレートする。
• 特に価値の一致と倫理的意思決定に焦点を当て、異なるステークホルダーの役割に適合した反復的・相互的・段階的な説明設計の重要性を強調する。
• PDMの内面的な戦略的役割と、ADM結果を再構築する可能性を踏まえた、価値に基づいた説明フレームワークを提言する。
• PDMの行動を観察された意思決定を通じてモデル化し、SDMの意図と照らし合わせて、価値の一致度とリスクを評価する手法を含む。

実験結果

リサーチクエスチョン

• RQ1 戦略的意思決定者（SDM）と実務的意思決定者（PDM）の間の価値の不一致が、アルゴリズム意思決定における社会的目標の実現にどのように影響するか？
• RQ2 PDMがアルゴリズムの推奨からわずかにでも意図的に逸脱する場合、その影響がADMシステム全体の挙動と結果にどの程度及ぶか？
• RQ3 ADMにおけるSDMとPDMの固有の情報ニーズは何か。説明はどのようにしてそれらのニーズに適合させるべきか？
• RQ4 PDMは、是正的監視役として位置づけられているにもかかわらず、どのようにして実質的な政治的・倫理的意思決定者として機能しているか？
• RQ5 PDMの内面的な戦略的影響をADMシステム内で可視化し、説明責任を果たせるようにするには、どのように説明を設計すべきか？

主な発見

• 実験により、PDMのアルゴリズムの推奨からわずかに逸脱する意思決定でも、ADMシステム全体の挙動が顕著に変化することが示された。
• SDMとPDMの間の価値の不一致は、SDMからPDMへと権力が移転する原因となり、ADMシステムの意図された社会的目標を損なう。
• PDMの社会的価値やシステムのダイナミクスに関する満たされていない情報ニーズは、SDMの戦略的目標と相反する意思決定を生む原因となる。
• PDMは、是正的役割を超えて、戦略的かつ倫理的意思決定者として機能しており、その役割は公式に認識され、個別化された説明によって支援されるべきである。
• 現在のXAI手法は、PDMが社会的価値を理解し、それらに基づいて行動するニーズを十分に満たしていないことが明らかになり、説明設計における重要なギャップが浮き彫りになった。
• 本研究は、説明がPDMの戦略的アクターとしての役割を明確にフレームするべきであり、PDMの意思決定とSDMの意図との間で価値の推論と一致度の確認を可能にするメカニズムを含めるべきだと提言する。