[論文レビュー] Optimizing AI for Teamwork.

Gagan Bansal, Besmira Nushi+3 more|arXiv (Cornell University)|Apr 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 17

ひとこと要約

本稿では、AIシステムの最適化を単に正確性ではなく、人間がAIの提言を受け入れるか上書きするかを決定する人間-AI協働におけるチームパフォーマンスに向けたものとして提案している。意思決定の質、検証コスト、個々の正確性のバランスを直接最大化することで、実世界の高リスクデータセットにおいて、わずかな正確性の妥協があっても、チームの成果に一貫して測定可能な改善が得られることを実験で示している。

ABSTRACT

In many high-stakes domains such as criminal justice, finance, and healthcare, AI systems may recommend actions to a human expert responsible for final decisions, a context known as AI-advised decision making. When AI practitioners deploy the most accurate system in these domains, they implicitly assume that the system will function alone in the world. We argue that the most accurate AI team-mate is not necessarily the em best teammate; for example, predictable performance is worth a slight sacrifice in AI accuracy. So, we propose training AI systems in a human-centered manner and directly optimizing for team performance. We study this proposal for a specific type of human-AI team, where the human overseer chooses to accept the AI recommendation or solve the task themselves. To optimize the team performance we maximize the team's expected utility, expressed in terms of quality of the final decision, cost of verifying, and individual accuracies. Our experiments with linear and non-linear models on real-world, high-stakes datasets show that the improvements in utility while being small and varying across datasets and parameters (such as cost of mistake), are real and consistent with our definition of team utility. We discuss the shortcoming of current optimization approaches beyond well-studied loss functions such as log-loss, and encourage future work on human-centered optimization problems motivated by human-AI collaborations.

研究の動機と目的

• 現在のAIシステムが人間-AI意思決定文脈においてチーム効果性を無視して正確性を最優先しているという限界に対処すること。
• 個人モデルの正確性ではなくチームパフォーマンスを最適化することで、医療や刑事司法などの高リスク分野でより良い現実世界の成果が得られることを調査すること。
• 意思決定の質、検証コスト、および人間とAIの個々のパフォーマンスを組み込んだ、人間-AIチームの期待される価値を直接最適化するフレームワークを開発すること。
• AIを協働に最適化することで、わずかな正確性の低下がチーム価値の測定可能な向上をもたらすことを実証すること。

提案手法

• 意思決定の質、検証コスト、および人間とAIの個々の正確性を関数としてチーム価値を形式化すること。
• 標準的な損失関数（例：対数損失）ではなく、チーム価値を最適化する訓練目的を設計すること。
• 実世界の高リスクデータセットを用いて、線形および非線形モデルにこの最適化を適用すること。
• 受容率や最終的意思決定の質を含む、チームレベルの成果を反映する指標を用いて性能を評価すること。
• 人間の意思決定行動を最適化プロセスに統合し、AIの提言を受け入れるか、自らタスクを処理するかの選択をモデル化すること。
• 実証的評価を用いて、標準的な正確性最適化モデルとチーム価値最適化モデルの両者におけるチーム価値を比較すること。

実験結果

リサーチクエスチョン

• RQ1 チーム価値（個人の正確性ではなく）を最適化することで、人間-AI意思決定パフォーマンスに測定可能な改善がもたらされるか？
• RQ2 高リスク分野におけるAI正確性とチーム価値のトレードオフが、最終的な意思決定の質にどのように影響するか？
• RQ3 誤りのコストなどの異なるコスト構造が、AI正確性とチームパフォーマンスの最適なバランスにどの程度影響を及えるか？
• RQ4 人間がAIの提言を受け入れるか上書きするかの意思決定が、全体のチーム価値にどのように影響するか？
• RQ5 標準的な最適化手法（例：対数損失）が人間-AI協働に適用された際の限界は何か？

主な発見

• チーム価値を最適化することで、複数の実世界の高リスクデータセットにおいて、チーム全体のパフォーマンスが一貫して測定可能な改善を示している。
• チーム価値の向上は、わずかでデータセットやパラメータによって異なるが、統計的に有意であり、提示されたチーム価値定義と整合的である。
• AIを人間の意思決定支援をより効果的に実行するように訓練することで、わずかな正確性の犠牲が、チーム価値の大きな向上をもたらすことがある。
• 検証コストや意思決定の質が重要な要因となる状況では、本手法が標準的な正確性最適化モデルを上回る性能を示している。
• 対数損失などの well-studied 損失関数に基づく現在の最適化手法は、人間-AI協働のダイナミクスをモデル化するのに不十分である。
• 結果から、今後のAI開発は純粋な予測正確性よりも人間中心の最適化目標を優先すべきであると示唆される。