[論文レビュー] DALL-E 2 Fails to Reliably Capture Common Syntactic Processes

Evelina Leivada, Elliot Murphy+1 more|arXiv (Cornell University)|Oct 23, 2022

Natural Language Processing Techniques被引用数 12

ひとこと要約

本論文は、自然言語プロンプトにおける文法的構造の解釈能力について、DALL-E 2の性能を評価するものであり、受動態、否定、省略など8つの核心的な文法的現象をテストしている。高レベルな言語理解を主張する一方で、DALL-E 2は文法的意味と整合する画像を一貫して生成できないことが判明し、構成的一般化および意味的推論における根本的な制限が明らかになった。

ABSTRACT

Machine intelligence is increasingly being linked to claims about sentience, language processing, and an ability to comprehend and transform natural language into a range of stimuli. We systematically analyze the ability of DALL-E 2 to capture 8 grammatical phenomena pertaining to compositionality that are widely discussed in linguistics and pervasive in human language: binding principles and coreference, passives, word order, coordination, comparatives, negation, ellipsis, and structural ambiguity. Whereas young children routinely master these phenomena, learning systematic mappings between syntax and semantics, DALL-E 2 is unable to reliably infer meanings that are consistent with the syntax. These results challenge recent claims concerning the capacity of such systems to understand of human language. We make available the full set of test materials as a benchmark for future testing.

研究の動機と目的

• DALL-E 2が自然言語プロンプトの文法的構造から意味的解釈を一貫して推論できるかどうかを評価すること。
• DALL-E 2が、受動態や否定といった一般的な言語的現象において、文法と意味の間の体系的対応（構成的マッピング）を捉えているかどうかを調査すること。
• 視覚言語モデルがDALL-E 2のように人間並みの言語理解や理解能力を示すという最近の主張に挑戦すること。
• 将来のマルチモーダルモデルにおける構成的一般化の評価のためのベンチマークを確立すること。
• モデルのアーキテクチャーやトレーニングにおける根本的な制限を露呈する、文法的解釈における体系的失敗を同定すること。

提案手法

• 形式的文法学に由来する8つの文法的現象（束縛／コアリソーション、受動態、語順、並列構造、比較級、否定、省略、構造的曖昧性）を対象とした制御されたテストセットを設計・実施する。
• 意味的内容を維持しつつ、文法的構造を変化させた注意深く構築されたプロンプトを用いて、DALL-E 2から画像を生成する。
• 人間によるアノテーションによる正解判断を基準に、画像出力をゴールスタンダードの解釈と照合して評価する。
• 全テストケースにわたる一貫性と再現可能性を確保するため、標準化された評価プロトコルを用いる。
• 文法的カテゴリごとのモデルのパフォーマンスを比較し、体系的な失敗パターンを同定する。
• 将来的な研究のための構成的一般化に関するベンチマークとして、テストセットの全容を公開する。

実験結果

リサーチクエスチョン

• RQ1 DALL-E 2は、文法的に複雑なプロンプトの正しい意味的解釈を反映した画像を一貫して生成できるか？
• RQ2 DALL-E 2は、受動態や否定といったコアな文法的現象において、構成的一般化を示しているか？
• RQ3 省略や構造的曖昧性といった特定の文法的構造における文法的解釈の失敗は、どのように関連しているか？
• RQ4 DALL-E 2の画像生成は、文法的・意味的マッピングの真の理解をどれほど反映しているか？
• RQ5 アーキテクチャーやトレーニングの修正を通じて、文法的推論能力を体系的に向上させることは可能か？

主な発見

• DALL-E 2は、受動態を含むプロンプトの文法的構造と整合する画像を一貫して生成できない。特に、主語と目的語の役割が逆転する。
• 否定を頻繁に誤解しており、否定された行動そのものを描写するのではなく、その欠如を示さない。
• 省略タスクでは、正しい先行詞を推論できず、不要または誤った要素を含む画像を生成する傾向がある。
• 構造的曖昧性のタスクでは、どちらの解釈に対しても一貫した好みを示さず、文法的解析能力の欠如を示している。
• 8つの文法的現象すべてにおいて、人間の水準の正確性に大きく及ばず、どのカテゴリーとも一貫した信頼性を達成していない。
• モデルの失敗は体系的かつ予測可能であり、ランダムな誤りではなく、構成的一般化の根本的欠如を示している。