[論文レビュー] A Taxonomy of Human and ML Strengths in Decision-Making to Investigate Human-ML Complementarity

Charvi Rastogi, Liu Leqi+2 more|arXiv (Cornell University)|Apr 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿は、意思決定における人間と機械学習（ML）の強みの分類を提案し、人間-ML補完性のメカニズムを明確にする。異なる認知的および統計的能力を分析することで、人間とMLの判断を最適に統合する数学的枠組みを構築し、目的が異なる場合に補完性が最大となり、最適な協働は固定重みの凸結合ではなく、各インスタンスでより優れたエージェントに任せる戦略であることを示している。

ABSTRACT

Hybrid human-ML systems increasingly make consequential decisions in a wide range of domains. These systems are often introduced with the expectation that the combined human-ML system will achieve complementary performance, that is, the combined decision-making system will be an improvement compared with either decision-making agent in isolation. However, empirical results have been mixed, and existing research rarely articulates the sources and mechanisms by which complementary performance is expected to arise. Our goal in this work is to provide conceptual tools to advance the way researchers reason and communicate about human-ML complementarity. Drawing upon prior literature in human psychology, machine learning, and human-computer interaction, we propose a taxonomy characterizing distinct ways in which human and ML-based decision-making can differ. In doing so, we conceptually map potential mechanisms by which combining human and ML decision-making may yield complementary performance, developing a language for the research community to reason about design of hybrid systems in any decision-making domain. To illustrate how our taxonomy can be used to investigate complementarity, we provide a mathematical aggregation framework to examine enabling conditions for complementarity. Through synthetic simulations, we demonstrate how this framework can be used to explore specific aspects of our taxonomy and shed light on the optimal mechanisms for combining human-ML judgments

研究の動機と目的

• 人間-MLシステムが個々のエージェントを上回る理由についての概念的曇りを解消すること。
• 意思決定の文脈における人間とMLモデルの特徴的な強みと弱みを特定・分類すること。
• 人間-ML協働が補完的パフォーマンスをもたらす条件と方法を分析する形式的枠組みを構築すること。
• 研究者や実務家がハイブリッドシステムを設計するのを支援するため、共通の言語と分析ツールを提供することにより、効果的な協働を予測すること。

提案手法

• 心理学、機械学習、ヒューマンコンピュータインタラクションの知見に基づき、人間とMLの意思決定強みの分類を提案する。
• 協働の補完性をインスタンス間とインスタンス内に分類し、パフォーマンス向上の条件を区別する。
• 人間とMLの予測の重み付き平均としての共同意思決定をモデル化するための凸結合統合フレームワークを開発する。
• 異なる目的の一致状況下での補完性を測定するためのパフォーマンス指標 $c_{\text{across}}$ と $c_{\text{within}}$ を導入する。
• 合成シミュレーションを用いて、補完性が生じる条件を調査し、目的の一致度（$b$ でパrameter化）を変化させる。
• 個々のエージェントとのパフォーマンスを比較することで最適な統合メカニズムを分析し、目的が異なる場合にデフォルトベースの戦略が凸結合を上回ることを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 人間とMLの意思決定が、強み・弱みにおいてどのように異なる可能性があるか。
• RQ2 人間-ML協働が、重複や劣化ではなく補完的パフォーマンスをもたらす条件は何か。
• RQ3 人間とMLの目的の一致度が、補完性の可能性に与える影響は何か。
• RQ4 人間とMLの判断を統合する最適なメカニズムは何か。
• RQ5 一貫した枠組みは、多様な意思決定分野における効果的な人間-ML協働を説明・予測できるか。

主な発見

• 人間とMLの目的が完全に一致する場合（$b=1$）に補完的パフォーマンスは最低となり、協働のインcentiveがなくなる。
• 目的が異なる場合（$b \neq 1$）にインスタンス間補完性（$c_{\text{across}}$）は相対的に高く、チームパフォーマンスの向上の可能性が強い。
• 目的の不一致下でもインスタンス内補完性（$c_{\text{within}}$）は低く保たれるため、最適な協働には両エージェントが全インスタンスで貢献する必要がないことが示唆される。
• 最適な統合メカニズムは、判断の凸結合ではなく、各インスタンスでより優れたエージェントに任せる戦略である。
• 合成シミュレーションにより、人間とMLモデルの目的が異なる場合にデフォルトベースの協働が固定重み平均化を上回ることが確認された。
• この枠組みにより、最適な人間-ML協働に関する仮説の生成が可能となり、パフォーマンス向上と実装コストのトレードオフを定量的に評価できるようになった。