[論文レビュー] Evaluating Visual Conversational Agents via Cooperative Human-AI Games

Prithvijit Chattopadhyay, Deshraj Jain+6 more|arXiv (Cornell University)|Aug 17, 2017

Ethics and Social Impacts of AI被引用数 38

ひとこと要約

本論文は、視覚的会話エージェントを孤立して評価するのでなく、リアルタイムのヒューマン-AI協働作業におけるチームメイトとして評価することを目的とした、協働的ヒューマン-AIゲームGuessWhichを紹介する。AI-AI設定では強化学習で微調整されたエージェント（Alice_RL）が教師あり学習の対応バージョン（Alice_SL）を上回るが、ヒューマン-AIチームのパフォーマンスには向上が見られず、孤立したAIベンチマークと現実世界のヒューマン-AI相互作用の間には重要な乖離が存在することが明らかになった。

ABSTRACT

As AI continues to advance, human-AI teams are inevitable. However, progress in AI is routinely measured in isolation, without a human in the loop. It is crucial to benchmark progress in AI, not just in isolation, but also in terms of how it translates to helping humans perform certain tasks, i.e., the performance of human-AI teams. In this work, we design a cooperative game - GuessWhich - to measure human-AI team performance in the specific context of the AI being a visual conversational agent. GuessWhich involves live interaction between the human and the AI. The AI, which we call ALICE, is provided an image which is unseen by the human. Following a brief description of the image, the human questions ALICE about this secret image to identify it from a fixed pool of images. We measure performance of the human-ALICE team by the number of guesses it takes the human to correctly identify the secret image after a fixed number of dialog rounds with ALICE. We compare performance of the human-ALICE teams for two versions of ALICE. Our human studies suggest a counterintuitive trend - that while AI literature shows that one version outperforms the other when paired with an AI questioner bot, we find that this improvement in AI-AI performance does not translate to improved human-AI performance. This suggests a mismatch between benchmarking of AI in isolation and in the context of human-AI teams.

研究の動機と目的

• 視覚的会話エージェントを孤立して評価するのではなく、現実のヒューマン-AI協働作業におけるチームメイトとして評価するというギャップを埋める。
• AI-AIのパフォーマンス向上がヒューマン-AIチームの成果向上にどのように反映されるかを調査する。
• リアルタイムで相互作用的なヒューマン-AI協働のダイナミクスを捉えるゲームベースの評価フレームワークを設計する。
• 教師あり学習と強化学習の異なるAIトレーニング手法（それぞれのパラメータ設定）が、制御された相互作用的環境下でのヒューマン-AIチームパフォーマンスに与える影響を測定する。

提案手法

• ヒューマンがAIエージェント（Alice）に質問を投げかけ、固定された画像プールから秘密の画像を特定する協働ゲームGuessWhichを設計する。
• Aliceには秘密の画像と簡単なキャプションが提供されるが、ヒューマンはキャプションのみを確認でき、会話によって画像を特定する必要がある。
• アマゾン・メカニカル・ターキー（Amazon Mechanical Turk, AMT）上でヒューマン研究を実施し、各ヒューマンは2つのバージョンのAlice（教師あり学習：Alice_SL、強化学習で微調整：Alice_RL）とそれぞれ10ゲームずつプレイする。
• 固定された会話ラウンド数後に秘密の画像を特定するまでの推測回数を測定することでチームパフォーマンスを評価する。
• ユーザー参加意欲と公平性を保つために、パフォーマンスに基づくインcentiveとベース賃金を導入し、作業者による熟練度に起因するバイアスを軽減する。
• AMT上で低遅延で状態保持可能なリアルタイム対話セッションを実現するバックエンドアーキテクチャを実装する。

実験結果

リサーチクエスチョン

• RQ1 強化学習で微調整されたAIエージェント（Alice_RL）は、教師あり学習のベースライン（Alice_SL）と比較して、協働的画像特定タスクにおいてヒューマンと組んだ場合に優れたパフォーマンスを示すか？
• RQ2 画像特定タスクにおけるAI-AIパフォーマンスの向上が、ヒューマン-AIチームパフォーマンスの向上にどの程度反映されるか？
• RQ3 リアルタイムで相互作用的な会話環境下において、AIの応答の質と一貫性がヒューマン-AIチームパフォーマンスにどのように影響するか？
• RQ4 クラウドソーシングプラットフォーム上で公平でスケーラブルかつ魅力的なヒューマン-AI相互作用評価フレームワークを設計するにあたり、直面する主な課題は何か？

主な発見

• AI-AI評価では教師あり学習の対応バージョン（Alice_SL）を上回るが、GuessWhichゲームにおいてはヒューマン-AIチームパフォーマンスに向上が見られない、強化学習で微調整されたエージェント（Alice_RL）は、ヒューマンとの協働においても同様の推測回数で秘密の画像を特定した。
• ヒューマンチームがAlice_RLと組んでも、Alice_SLと組んだ場合と同程度の推測回数で画像を特定しており、ヒューマン-AI協働における強化学習微調整の効果は明確に認められない。
• AI-AI設定では高い正確性を示すにもかかわらず、Alice_RLの応答はヒューマンチームにとって一貫して情報量が多く信頼性があるとは言えず、評価目的の不一致が示唆される。
• 本研究は、孤立したAIベンチマークと現実世界のヒューマン-AIチームパフォーマンスとの間には顕著な乖離が存在することを明らかにし、ヒューマンインザループ評価の必要性を強調している。
• AMTでのパフォーマンスベースのインcentiveは、AIの偶発的な誤りによりヒューマンプレイヤーが誤解し、ゲームに失敗する場合もあり、参加意欲の維持に課題を引き起こした。
• 結果から、現在のAI評価パラダイムは、ヒューマン-AI協働に応用された際の高度なトレーニング手法の実用的利点を過大評価している可能性があると示唆される。