[論文レビュー] Ask Not What AI Can Do, But What AI Should Do: Towards a Framework of Task Delegability

Brian Lubars, Chenhao Tan|arXiv (Cornell University)|Feb 8, 2019

Human-Automation Interaction and Safety参考文献 41被引用数 29

ひとこと要約

本稿では、動機付け、難易度、リスク、信頼性の4要因が人間の好みに与える影響を特定し、人間中心のフレームワークを提案する。100件の多様なタスクに対する調査を通じて、完全自動化よりもマシンインザループ設計を好む傾向が強く、信頼性が最も相関の強い要因であることが判明したが、解釈可能性は自動化への好みと弱い相関を示した。

ABSTRACT

While artificial intelligence (AI) holds promise for addressing societal challenges, issues of exactly which tasks to automate and to what extent to do so remain understudied. We approach this problem of task delegability from a human-centered perspective by developing a framework on human perception of task delegation to AI. We consider four high-level factors that can contribute to a delegation decision: motivation, difficulty, risk, and trust. To obtain an empirical understanding of human preferences in different tasks, we build a dataset of 100 tasks from academic papers, popular media portrayal of AI, and everyday life, and administer a survey based on our proposed framework. We find little preference for full AI control and a strong preference for machine-in-the-loop designs, in which humans play the leading role. Among the four factors, trust is the most correlated with human preferences of optimal human-machine delegation. This framework represents a first step towards characterizing human preferences of AI automation across tasks. We hope this work encourages future efforts towards understanding such individual attitudes; our goal is to inform the public and the AI research community rather than dictating any direction in technology development.

研究の動機と目的

• 人間がAIにどのタスクを委譲したいと考えるかを理解し、能力の範囲を超えて人間中心の好みに焦点を当てる。
• 特に信頼性、動機付け、リスク、難易度に焦点を当て、AI自動化に関する人間の意思決定に影響を与える要因を同定する。
• 多様なタスクをカバーする実証的アンケートデータを用いて、タスク委譲のフレームワークを構築および検証する。
• 技術的進展を規定する代わりに、人間の態度に基づいてAI開発を支援する。
• AIの能力と社会的受容性のギャップを埋めるために、自動化意思決定を人間の認識に基づくものにすることを目的とする。

提案手法

• 関数割り当ておよび信頼性に関する文献を基に、動機付け、難易度、リスク、信頼性の4要因からなるフレームワークを構築した。
• 学術的リサーチ、メディアの描写、日常の出来事から抽出した100件のタスクからなるデータセットを構築した。
• Amazon Mechanical Turkを用いて、4要因の評価と希望する委譲レベルを評価するアンケートを実施した。
• 委譲の好みを5つのカテゴリに分類した：人間のみ、人間インザループ（2種類）、AIのみ。
• 4要因と委譲の好みの関係を評価するために、相関分析を実施した。
• データ品質の確保とアンケート回答のバイアス低減のため、注目チェックとフィルタリングを適用した。

実験結果

リサーチクエスチョン

• RQ1 どの人間中心の要因がAIへのタスク委譲の好みに最も影響を与えるか？
• RQ2 動機付け、難易度、リスク、信頼性は、AI自動化への人間の好みとどの程度相関するか？
• RQ3 完全なAI制御と人間インザループ設計のどちらをどれだけ好むか？
• RQ4 解釈可能性の認識は、委譲の好みとどのように関係するか？
• RQ5 標準化されたフレームワークは、人間の自動化認識の観点から、多様なタスクに一般化可能か？

主な発見

• 参加者は完全なAI制御に対してほとんど好みを示さず、人間が主導するマシンインザループ設計を好む傾向が強く見られた。
• 信頼性が委譲の好みと最も強く相関しており、相関係数は0.59であった。
• 解釈可能性は委譲の好みと弱い相関を示しており、解釈可能性そのものが自動化への好みを決定づけるわけではないことが示された。
• がん診断やベビーシッターなどの高リスクタスクに対しても、人間インザループの支援は依然として受け入れられた。
• このフレームワークは中程度の予測力を持ち、信頼性と委譲の好みの間で最も高い相関（0.59）を示した。
• 好みは動的で文脈依存的であり、文化的要因や状況的要因が回答に影響を与える可能性があるが、アンケートでは完全には捉えきれなかった。