[論文レビュー] Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities

Samer B. Nashed, Justin Svegliato+1 more|arXiv (Cornell University)|Jan 13, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿は、予測システムからの公平性概念が順序付き意思決定モデル（例：マルコフ決定過程）にどのように寄与できるか、また倫理的意思決定手法が公平性研究をどのように強化できるかを分析することで、アルゴリズム的公平性と倫理的意思決定を橋渡しする。順序付きシステムへの公平性手法の適用における主な制約を特定し、相互浸透の機会を浮き彫りにした上で、長期的意思決定システムにおける解釈可能性、ステークホルダー参加、および倫理的分析の向上を求める。

ABSTRACT

As automated decision making and decision assistance systems become common in everyday life, research on the prevention or mitigation of potential harms that arise from decisions made by these systems has proliferated. However, various research communities have independently conceptualized these harms, envisioned potential applications, and proposed interventions. The result is a somewhat fractured landscape of literature focused generally on ensuring decision-making algorithms "do the right thing". In this paper, we compare and discuss work across two major subsets of this literature: algorithmic fairness, which focuses primarily on predictive systems, and ethical decision making, which focuses primarily on sequential decision making and planning. We explore how each of these settings has articulated its normative concerns, the viability of different techniques for these different settings, and how ideas from each setting may have utility for the other.

研究の動機と目的

• アルゴリズム的公平性と倫理的意思決定研究のコミュニティの間の概念的・方法的・実務的ギャップを検討すること。
• マルコフ決定過程（MDP）のような順序付き意思決定フレームワーク内での公平性技術（例：バイアス低減、公平性指標）の実用可能性を評価すること。
• 価値の整合性や長期的結果モデリングといった倫理的意思決定アプローチが、動的システムにおける公平性研究にどのように寄与できるかを特定すること。
• 順序付き意思決定システムにおける解釈可能性、ヒューマンインザループ設計、ステークホルダー参加といった、未だ十分に掘り下げられていない機会を浮き彫りにすること。
• ハイリスク分野における順序付きAIシステムの倫理的・透明性・説明責任のある展開を確保するため、統合的かつ学際的なアプローチを提唱すること。

提案手法

• 順序付き意思決定の基盤モデルとしてマルコフ決定過程（MDP）を用い、その構造、解法手法、仮定を分析する。
• アルゴリズム的公平性と倫理的意思決定の文献における規範的懸念、公平性指標、緩和戦略を比較する。
• モデル設計、報酬設計、ポリシー学習を含む順序付き意思決定パイプラインを分析し、倫理的リスクと干渉のポイントを同定する。
• 時間的・動的依存性のため、適用に制限があることにも注意しつつ、既存の公平性指標（例：デモグラフィックパラティーション、等しい機会）が順序付き設定にどの程度適用可能かを評価する。
• 公平性文献からのアクショナブルレコーズやクロス・エクзамен（検証）の概念を援用し、順序付きシステムにおける解釈可能性と説明可能性の役割を提示する。
• ヒューマンコンピュータインタラクション分野における参加型デザインとステークホルダー参加の実践をAIシステム開発に統合し、倫理的整合性を図ることを提言する。

実験結果

リサーチクエスチョン

• RQ1 予測システムから得られる公平性指標や緩和技術が、順序付き意思決定モデルに意味的に適用可能である範囲はどの程度か。
• RQ2 価値の整合性や長期的結果モデリングといった倫理的意思決定フレームワークは、フィードバックループや累積的影響を持つ動的で複数ステップのシステムにおける公平性にどのように寄与するか。
• RQ3 予測システムにおける公平性と順序付きシステムにおける倫理的意思決定の間で、規範的懸念や設計上の課題にどのような主な相違があるか。
• RQ4 解釈可能性とヒューマンインザループメカニズムをどのように順序付き意思決定システムに適応させれば、説明責任と透明性を向上させられるか。
• RQ5 ステークホルダー参加と参加型デザインは、倫理的かつ公平な順序付き意思決定システムを設計する上で果たす役割は何か。

主な発見

• デモグラフィックパラティーションや等しい機会といった公平性指標は、静的で一回限りの性質に加え、長期的ダイナミクスを考慮しないことから、順序付き意思決定システムにはしばしば不適切である。
• 報酬設計や価値の整合性を含む倫理的意思決定手法は、フィードバックループや累積的影響を持つシステムにおいて、時間経過にわたる公平性をモデル化するための有望なツールを提供する。
• 予測モデルに比べ、順序付きシステムにおける解釈可能性と説明可能性はまだ十分に発展していない。動的状況におけるアクショナブルレコーズやクロス・エクзаменの研究は限定的である。
• 現在のモデル開発実務では、ステークホルダーがしばしば除外されているが、専門家やコミュニティの知見は、順序付きシステムにおける倫理的成果を向上させる可能性を秘めている。
• 長期的被害や制度的不正義に関する標準化された倫理的分析が順序付きシステムに欠如していることは、特に自動運転や医療分野のような分野で、顕著なリスクをもたらす。
• 公平性と倫理的意思決定の実践の統合は、異なる仮定、設計パイプライン、展開環境のため、阻害されている。このギャップを埋めるために、新たな学際的フレームワークの構築が不可欠である。