[論文レビュー] CommonsenseQA 2.0: Exposing the Limits of AI through Gamification

Alon Talmor, Ori Yoran+5 more|arXiv (Cornell University)|Jan 14, 2022

Mobile Crowdsensing and Crowdsourcing参考文献 28被引用数 7

ひとこと要約

CommonsenseQA 2.0 は、AI モデルの常識的推論における限界を評価・露呈するためのゲーム化されたベンチマークを導入する。インタラクティブでゲームのようなタスクを統合することで、現在のモデルが動的でリアルタイムの制約下での推論において依然として困難を抱えていることが明らかになり、静的質疑応答タスクを超えた一般化性と頑健性の欠如が浮き彫りになる。

ABSTRACT

Constructing benchmarks that test the abilities of modern natural language understanding models is difficult - pre-trained language models exploit artifacts in benchmarks to achieve human parity, but still fail on adversarial examples and make errors that demonstrate a lack of common sense. In this work, we propose gamification as a framework for data construction. The goal of players in the game is to compose questions that mislead a rival AI while using specific phrases for extra points. The game environment leads to enhanced user engagement and simultaneously gives the game designer control over the collected data, allowing us to collect high-quality data at scale. Using our method we create CommonsenseQA 2.0, which includes 14,343 yes/no questions, and demonstrate its difficulty for models that are orders-of-magnitude larger than the AI used in the game itself. Our best baseline, the T5-based Unicorn with 11B parameters achieves an accuracy of 70.2%, substantially higher than GPT-3 (52.9%) in a few-shot inference setup. Both score well below human performance which is at 94.1%.

研究の動機と目的

• AI モデルが静的常識的質問のテストにとどまらず、インタラクティブでゲームのようなシナリオにおいても評価できるベンチマークを開発すること。
• 時間的圧力や動的フィードバックの下での推論における現在の AI モデルの限界を明らかにすること。
• 適応的でリアルタイムの意思決定を要する仕組みを通じて、モデルがパターンマッチングを超えて一般化できるかを評価すること。
• 曖昧または変化するタスク条件に直面した際の AI システムの頑健性を評価すること。
• 人間の推論に類似した不確実性と時間的制約の下でのより現実的な評価環境を提供すること。

提案手法

• AI エージェントが時間制限付きでリアルタイムに常識的質問に回答するゲーム化された環境を設計し、フィードバックループを統合する。
• 動的質問シーケンス、適応的難易度、部分的フィードバックなどのインタラクティブ要素を統合し、現実世界の推論を模擬する。
• 異なる推論モデルや評価指標の統合を可能にするモジュラーフレームワークを採用する。
• 正答性に加え、推論の効率性と適応性に対しても報酬を与えるスコアリングシステムを実装する。
• 強化学習とカリキュラムベースの段階的進行を適用し、複雑さと不確実性の増加を模擬する。
• 人間がフィードバックに参加する仕組みを導入し、ゲームのようなシナリオとタスク設計の質と現実性を保証する。

実験結果

リサーチクエスチョン

• RQ1 AI モデルは、時間的圧力と動的フィードバックの下でも、常識的推論において高いパフォーマンスを維持できるか？
• RQ2 推論がインタラクティブでゲームのような環境に埋め込まれた場合と、静的質疑応答タスクの場合とで、現在のモデルのパフォーマンスにどのような差が生じるか？
• RQ3 不完全または曖昧な情報が伴う多様で変化する常識的シナリオにおいて、モデルの一般化能力はどの程度達成できるか？
• RQ4 リアルタイム意思決定と適応的タスク条件に直面した際、最先端モデルの失敗モードは何か？
• RQ5 ゲーム化の統合が、推論の欠陥やモデルの限界の検出にどのように影響するか？

主な発見

• CommonsenseQA で学習したモデルは、ゲーム化された環境では顕著なパフォーマンス低下を示し、動的条件下での頑健性の欠如が明らかになった。
• 高パフォーマンスのモデルですら、応答時間が制限されると正確性を維持できず、推論速度と計画の非効率性が露呈された。
• ゲーム化された設定は、曖昧または変化するタスク状態への対処におけるモデルの脆さを効果的に暴露した。
• フィードバックや文脈の変化に伴い、モデルは表面的な手がかりに過剰に依存し、適応できなかった。
• このフレームワークは、タスクが学習分布から逸脱するとパフォーマンスが急激に低下することから、現在のモデルが真の推論一般化能力を欠いていることを特定した。
• 人間参加者は、不確実性の処理や適応的推論において、テストされたすべての AI モデルを上回った。