[論文レビュー] Baby Intuitions Benchmark (BIB): Discerning the goals, preferences, and actions of others

Kanishk Gandhi, Gala Stojnić+2 more|arXiv (Cornell University)|Feb 23, 2021

Child and Animal Learning Development参考文献 64被引用数 16

ひとこと要約

ベビーインテューションズベンチマーク（BIB）は、乳児認知実験を模した刺激を用いて、機械学習モデルがエージェントの目的、好み、行動をどのように推論できるかを評価する。高精度なディープラーニングモデルを用いても、乳児に似た推論を再現できないことが判明し、機械の意図性に関する常識的理解に深刻なギャップがあることが明らかになった。

ABSTRACT

To achieve human-like common sense about everyday life, machine learning systems must understand and reason about the goals, preferences, and actions of other agents in the environment. By the end of their first year of life, human infants intuitively achieve such common sense, and these cognitive achievements lay the foundation for humans' rich and complex understanding of the mental states of others. Can machines achieve generalizable, commonsense reasoning about other agents like human infants? The Baby Intuitions Benchmark (BIB) challenges machines to predict the plausibility of an agent's behavior based on the underlying causes of its actions. Because BIB's content and paradigm are adopted from developmental cognitive science, BIB allows for direct comparison between human and machine performance. Nevertheless, recently proposed, deep-learning-based agency reasoning models fail to show infant-like reasoning, leaving BIB an open challenge.

研究の動機と目的

• 発達認知科学に根ざした刺激を用いて、機械学習モデルが他のエージェントの目的、好み、行動を推論できる能力を評価するベンチマークの構築を目的とする。
• 乳児研究で用いられる同じ実験パラダイムを採用することで、人間の乳児と機械モデルの直接比較を可能にする。
• 分布外のテストエピソードと、予期しない行動（VOE）フレームワークを用いて、一般化能力と人間らしい推論能力を評価することで、既存のディープラーニングモデルに挑戦する。
• 特に、合理的な行動と非合理的な行動、および対象に基づく好みを区別する能力の欠如を露呈することで、現在のAIシステムが意図性を推論する上で抱える限界を明らかにする。
• 将来のベンチマークの基盤を築くこと、特に、誤った信念の推論など、認識的および現象的状態にまで拡張し、機械に完全なトゥ・マインドを実現する。

提案手法

• 古典的な乳児認知研究から抽出した刺激と実験パラダイムを採用し、対象に基づく目的、好み、効率的行動の推論を対象とする。
• 予期しない行動（VOE）パラダイムを用い、モデルがエージェントの行動が背後にある意図に基づいて妥当かどうかを予測する。
• 2次元の形状がグリッドワールド内で移動する数千の動画エピソードを用いた広範なバックグラウンド学習により、経験からの学習を模倣する。
• 訓練とは異なる分布からのテストエピソードを設計し、単なるパターンマッチングを超えた一般化能力を測定する。
• 目的志向行動、好みに基づく選択、効率的移動を含むタスクを評価し、妥当性判断を主な評価指標とする。
• 同一の刺激と評価プロトコルを用いることで、人間と機械のパフォーマンスを直接比較可能な統一フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、新しい分布外のテストシナリオにおいて、エージェントの目的や好みに関する推論を一般化できるか？
• RQ2 ディープラーニングモデルは、合理的な行動と非合理的な行動、および対象に基づく好みを区別する点で、乳児に似た推論を再現できるか？
• RQ3 エージェントが非効率的または示された好みと一貫性のない行動を取った場合、モデルは予期しない行動の反応を適切に評価できるか？
• RQ4 モデルは、高レベルの意図性推論ではなく、視覚的ヒューリスティック（例：距離の近さ）に依存している程度はどの程度か？
• RQ5 人間の乳児が必要な最小限の露出（約8本の動画）で新しいテストイベントに一般化できるのに対し、大規模な動画データでのバックグラウンド学習がモデルのパフォーマンスに与える影響は？

主な発見

• ベースラインのディープラーニングモデルは、以前に示された好みに関係なく、常に2つの対象のうち近い方へ移動すると予測し続けた。これは、対象に基づく目的の推論に失敗していることを示している。
• モデルは行動効率の原則を過剰に一般化し、非合理的または非効率的な行動を合理的なものとみなす傾向にあり、人間の乳児とは異なり、このような行動を区別できなかった。
• エージェントが特定の対象へ到達するためにより多くの努力をした場合でさえ、モデルはその対象への好みを適切に推論できず、乳児認知における重要な能力を欠いていた。
• 数千のエピソードにわたる大規模な訓練にもかかわらず、モデルのパフォーマンスは乳児に比べて著しく低く、乳児はわずか約8本の動画で新しいテストイベントに一般化できた。
• ベンチマークにより、根本的な乖離が明らかになった。モデルは高レベルの心の状態推論ではなく、低レベルのヒューリスティックに依存している。大規模データでの学習でさえ、その傾向は解消されなかった。
• 結果は、機械の常識的認識における深刻なギャップを強調している。現在のシステムは、他者の好みと効率的行動を統合した一貫性のある意図性理論を構築する能力を欠いている。