[論文レビュー] Human-Algorithm Collaboration: Achieving Complementarity and Avoiding Unfairness

Kate Donahue, Alexandra Chouldechova+1 more|arXiv (Cornell University)|Feb 17, 2022

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本稿は、人間とアルゴリズムの協働をモデル化する理論的枠組みを提示し、人間またはアルゴリズム単体よりも低い損失を達成する組み合わせシステムが成立する条件を示している。補完性の不可能性を証明し、公平性のトレードオフを特定しており、特定のバランス条件が満たされない限り、補完性は保護群における損失格差を拡大することがあることを示している。

ABSTRACT

Much of machine learning research focuses on predictive accuracy: given a task, create a machine learning model (or algorithm) that maximizes accuracy. In many settings, however, the final prediction or decision of a system is under the control of a human, who uses an algorithm's output along with their own personal expertise in order to produce a combined prediction. One ultimate goal of such collaborative systems is "complementarity": that is, to produce lower loss (equivalently, greater payoff or utility) than either the human or algorithm alone. However, experimental results have shown that even in carefully-designed systems, complementary performance can be elusive. Our work provides three key contributions. First, we provide a theoretical framework for modeling simple human-algorithm systems and demonstrate that multiple prior analyses can be expressed within it. Next, we use this model to prove conditions where complementarity is impossible, and give constructive examples of where complementarity is achievable. Finally, we discuss the implications of our findings, especially with respect to the fairness of a classifier. In sum, these results deepen our understanding of key factors influencing the combined performance of human-algorithm systems, giving insight into how algorithmic tools can best be designed for collaborative environments.

研究の動機と目的

• 人間-アルゴリズム協働を扱いやすく理論的枠組みとして形式化・分析すること。
• 組み合わせシステムが、単体の各成分よりも低い期待損失を達成する条件を同定すること。
• 補完性の公平性への影響、特に保護群間の損失格差に関して検討すること。
• アルゴリズム設計を支援するため、不公平性を悪化させずにパフォーマンスを向上させる条件を同定すること。

提案手法

• 入力サブポピュレーションごとに異なる損失率を示す2レジームモデルを提案し、人間とアルゴリズムのパフォーマンスを表現する。
• 損失格差指標を用いて公平性を定量化し、人間単体、アルゴリズム単体、および組み合わせシステムのパフォーマンスを比較する。
• 極端なレジームにおける相対的パフォーマンス優位性に基づき、補完性が成立しない場合の不可能性定理を導出する。
• 補完性の成立に必要な十分条件を示すため、補完性の公平性が単体の各成分より悪化しないことを保証するための補題5を導入する。
• 人間単体および組み合わせシステム間の損失格差（ε）を比較することで、公平性のトレードオフを分析する。
• 医療診断などの現実世界のシナリオにフレームワークを適用し、理論的結果を具体的な例で示す。

(a) Scenario 1: Combined system has higher loss than either unaided human or algorithm.

実験結果

リサーチクエスチョン

• RQ1 人間-アルゴリズムシステムが、単体の各成分よりも低い期待損失を達成する補完性を達成する条件は何か？
• RQ2 補完性が理論的に不可能となる状況は何か？ また、損失分布のどのような構造的性質がそれを妨げるか？
• RQ3 組み合わせシステムの損失格差は、人間単体またはアルゴリズム単体のそれと比べてどうなるか？
• RQ4 保護群に対する不公平性を増大させることなく、補完性を達成できるか？
• RQ5 協働がパフォーマンスを向上させるが、公平性を悪化させないための設計原則は何か？

主な発見

• 人間またはアルゴリズムのいずれかのエージェントが、最高損失レジームおよび最低損失レジームの両方で他方を支配する場合、補完性は不可能である。
• 損失率が入力サブポピュレーション間で著しく変動する場合、特に両レジーム間でのパフォーマンス差が顕著な場合、補完性はより達成されやすい。
• 表7で示されるように、組み合わせシステムの損失格差は、両方の単体システムのそれらを上回る可能性がある。具体的には、εc = 0.84 > max(εh=0.8, εa=0.83) である。
• 補題5は、人間およびアルゴリズムが両極端なレジームで互いに支配しない場合、組み合わせシステムの損失格差が、単体の両システムの格差の最大値によって上限付けられることを確立している。
• このフレームワークは、公平性と補完性が相反する可能性があることを明らかにしている。すなわち、全体の損失を低減することが、特定の保護群における格差を拡大する要因となることがある。
• 実務家は、補題5の条件を用いて、補完性を達成しても公平性が悪化しないようにアルゴリズムを設計できる。

(b) Scenario 2: Combined system has lower loss than unaided human, but higher loss than algorithm.