[論文レビュー] Measuring Human Adaptation to AI in Decision Making: Application to Evaluate Changes after AlphaGo

Minkyu Shin, Jin Kim+1 more|arXiv (Cornell University)|Dec 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 4

ひとこと要約

本論文は、Goにおける人間の意思決定におけるAIへの適応度を測る指標として「人間-AIギャップ」を導入する。これは、人間の手の質と、超人間的AI（例：AlphaGo）の手の質を比較することで定量化される。AIの意思決定プロセス（単なる手の選択だけでなくその根拠）を観察することで、意味のある学習が促進されることが判明した。また、この指標はAI支援による不正（例：不正な手の使用）の検出にも有効であり、医療や教育などの分野への応用可能性が示された。

ABSTRACT

Across a growing number of domains, human experts are expected to learn from and adapt to AI with superior decision making abilities. But how can we quantify such human adaptation to AI? We develop a simple measure of human adaptation to AI and test its usefulness in two case studies. In Study 1, we analyze 1.3 million move decisions made by professional Go players and find that a positive form of adaptation to AI (learning) occurred after the players could observe the reasoning processes of AI, rather than mere actions of AI. These findings based on our measure highlight the importance of explainability for human learning from AI. In Study 2, we test whether our measure is sufficiently sensitive to capture a negative form of adaptation to AI (cheating aided by AI), which occurred in a match between professional Go players. We discuss our measure's applications in domains other than Go, especially in domains in which AI's decision making ability will likely surpass that of human experts.

研究の動機と目的

• 意思決定文脈における人間のAI適応度を、客観的かつ定量的測定できる指標を開発すること。
• AlphaGoなどの超人間的AIに暴露された後、人間の専門家が意思決定の質を向上させるかどうか、またその時期を調査すること。
• 提案された指標が、AI支援による不正（例：競技会での不正）といった否定的適応を検出できるかを評価すること。
• AIが人間を上回るが、人間が最終意思決定を行う分野において、この指標の一般応用性を評価すること。
• 個人またはグループごとのAI適応速度の差異を引き起こす要因を調査すること。

提案手法

• 強化学習に基づくAIの出力結果（最適な手の質）をゴールスタンダードとして、人間プレイヤーと超人間的AIとの間の意思決定の質の差を「人間-AIギャップ」と定義する。
• 歴史的プロフェッショナルGo対局データ（130万手分）を用い、AI登場前後の人間の手の質を比較する。
• AlphaGoが学習したポリシーを用いて、最適なプレイの基準と見なす。人間の意思決定をその基準と比較する。
• 人間-AIギャップの時間的変化およびプレイヤー群ごとの変化を分析し、学習や不正の兆候を検出する。
• AIの手の質に著しい変化が見られる異常な動きの例を用いて、AI支援の可能性を検出する。
• 統計的モデリングを用いて、人間の意思決定の質の向上が、AIの行動の観察のみではなく、その根拠（理由）の理解に起因するかを評価する。

実験結果

リサーチクエスチョン

• RQ1 AIの意思決定プロセス（根拠）を観察することは、単にAIの行動（手の選択）を観察するのと比較して、人間の意思決定の質の向上に顕著な効果をもたらすか？
• RQ2 ゲームのどの段階（どの手番）で人間のAI適応が最も顕著に現れるか？
• RQ3 人間-AIギャップ指標は、プロのGo対局におけるAI支援による不正事例を検出できるか？
• RQ4 AIの根拠（理由）へのアクセスが、人間専門家のグループ間での適応速度にどのように影響するか？
• RQ5 人間-AIギャップ指標は、医療、教育、ビジネスなど、AIが人間を上回るが人間が最終意思決定を行う分野へ、どの程度一般化可能か？

主な発見

• 人間の専門家は、AIの行動の出力だけでなく、その意思決定の根拠（理由）を理解することで、意思決定の質を顕著に向上させた。
• 最も顕著な学習は、Goのゲームの序盤から中盤（手番1～50）に見られ、人間プレイヤーがAIの戦略を模倣し始めた。
• AIの根拠にアクセスできた専門家は、アクセスできなかった者と比較して、人間-AIギャップの縮小が顕著に認められ、より迅速な適応が見られた。
• 人間-AIギャップ指標は、既知のAI支援不正事例を正常に検出できた。その際、プレイヤーの手の質が一時的にAIの出力と一致した。
• 説明可能性（AIがなぜその手を選んだかの理解）が、人間の学習にとって不可欠であることが判明した。単なる結果の観察だけでは十分でない。
• 人間-AIギャップは、学習（肯定的適応）と不正（否定的適応）の両方を検出できるほど感度が高く、多様で高リスクな意思決定文脈への応用が可能である。