[論文レビュー] DevBench: A multimodal developmental benchmark for language learning

Alvin Wei Ming Tan, Sunny Yu+6 more|arXiv (Cornell University)|Jun 14, 2024

Innovative Teaching and Learning MethodsPsychology被引用数 3

ひとこと要約

DevBenchは、幼児および成人の語彙的・構文的・意味的能力を評価する7つの言語タスクを備えたマルチモーダルベンチマークを導入し、視覚言語モデルと人間の発達的経路の直接比較を可能にする。モデルの性能と人間らしさの相関が強く、大規模なモデルや長期間の学習を経たモデルが、特に発達的進行に近い応答パターンを示すことが明らかになった。

ABSTRACT

How (dis)similar are the learning trajectories of vision-language models and children? Recent modeling work has attempted to understand the gap between models' and humans' data efficiency by constructing models trained on less data, especially multimodal naturalistic data. However, such models are often evaluated on adult-level benchmarks, with limited breadth in language abilities tested, and without direct comparison to behavioral data. We introduce DevBench, a multimodal benchmark comprising seven language evaluation tasks spanning the domains of lexical, syntactic, and semantic ability, with behavioral data from both children and adults. We evaluate a set of vision-language models on these tasks, comparing models and humans not only on accuracy but on their response patterns. Across tasks, models exhibit variation in their closeness to human response patterns, and models that perform better on a task also more closely resemble human behavioral responses. We also examine the developmental trajectory of OpenCLIP over training, finding that greater training results in closer approximations to adult response patterns. DevBench thus provides a benchmark for comparing models to human language development. These comparisons highlight ways in which model and human language learning processes diverge, providing insight into entry points for improving language models.

研究の動機と目的

• 子供レベルのデータと人間らしい評価手法を用いて言語モデルを評価する発達的ベンチマークの不足に対処すること。
• 語彙的・構文的・意味的ドメインにおける言語発達のダイナミックレンジを捉えるベンチマークを構築すること。
• 絶対的正答率指標に依存するのではなく、モデルと人間の応答パターンの直接比較を可能にすること。
• 発達的データで学習した視覚言語モデルが、人間の言語学習経路をどの程度再現できるかを評価すること。
• 子供の言語習得と比較して、モデル行動におけるギャップ、特に曖昧性の解消に関する課題を特定すること。

提案手法

• DevBenchは、言語習得における発達的進行を反映するように設計された7つのマルチモーダル言語評価タスクから構成される。
• 各タスクでは、幼児（2〜5歳）と成人の両方から行動データを収集し、認知的負荷を軽減するため、視線や指差しといった非言語的応答方法を用いる。
• モデルの性能は正答率だけでなく、モデルのログティトスと人間の応答分布との間で最適化されたKLダイバージェンスを用いて、人間の応答パターンとの類似性によっても評価される。
• 最先端モデル、小規模モデル、発達的に学習されたモデルを含む多様な視覚言語モデルがDevBenchで評価される。
• OpenCLIPの途中学習チェックポイントを分析することで、時間経過に伴うモデルと人間の類似性の変化を追跡し、発達的傾向を明らかにする。
• 拡張可能に設計されており、標準化されたフォーマットにより、今後の新規タスクや多言語データの貢献を促進する。

Figure 1: Tasks in DevBench arranged by linguistic domain, along with the ages for which corresponding human data are available. A: Adult.

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、異なる言語能力において、子供および成人の応答パターンとどのように比較されるか？
• RQ2 モデルサイズや学習期間が、人間の発達的応答パターンとの類似性にどの程度影響を与えるか？
• RQ3 発達的に現実的とされるデータで学習したモデルは、標準的なモデルと比較して、人間の言語学習をよりよく再現できるか？
• RQ4 モデルは、曖昧な言語入力や文脈的に複雑な入力に対して、子供とはどのように異なるか？
• RQ5 学習過程において、モデルと人間の応答パターン類似性はどのように変化するか？また、それらは既知の発達的経路を反映しているか？

主な発見

• モデルと人間の応答パターン類似性は、モデルの正答率と強く相関しており、性能の高いモデルが人間の行動に近い傾向にあることが示された。
• 大規模なモデルや長期間の学習を経たモデルは、特に構文的および意味的タスクにおいて、成人の応答パターンとの整合性が高くなる。
• OpenCLIPモデルは学習過程で発達的傾向を示し、途中のチェックポイントでは成人の応答パターンとの類似性が増加するが、すべてのタスクで一貫してそうではない。
• モデルは曖昧な入力の解消において、人間ほど効果的ではなく、実用的推論や不確実性の処理における主要な乖離が示唆された。
• ベンチマークは、現在のモデルが人間らしさにおいて顕著に異なることを明らかにした。これにより、曖昧性の解消と発達的経路のモデリングが、今後の改善の重要な分野であることが浮き彫りになった。
• DevBenchは、モデルと子供の間で方法論的に洗練された直接比較を可能にし、精度だけでなく発達的妥当性を評価するフレームワークを提供する。

Figure 2: Sample trials for each task in DevBench .