[論文レビュー] Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments

Alex Warstadt, Samuel R. Bowman|arXiv (Cornell University)|Jan 11, 2019

Topic Modeling参考文献 34被引用数 19

ひとこと要約

本稿では、CoLA開発セットの1,043文を13の句法学的現象でラベル付けすることで、事前学習された文埋め込み表現のための細分化された言語的アノテーション評価セットを提案する。このデータセットを用いて、BERT、GPT、およびBiLSTMベースラインをプローブ解析した結果、すべてのモデルが複雑な目的語構造をうまく処理している一方で、質問のような長距離依存関係は依然として挑戦的であることが判明した。特にBiLSTMはBERTやGPTに大きく劣っている。

ABSTRACT

Recent work on evaluating grammatical knowledge in pretrained sentence encoders gives a fine-grained view of a small number of phenomena. We introduce a new analysis dataset that also has broad coverage of linguistic phenomena. We annotate the development set of the Corpus of Linguistic Acceptability (CoLA; Warstadt et al., 2018) for the presence of 13 classes of syntactic phenomena including various forms of argument alternations, movement, and modification. We use this analysis set to investigate the grammatical knowledge of three pretrained encoders: BERT (Devlin et al., 2018), GPT (Radford et al., 2018), and the BiLSTM baseline from Warstadt et al. We find that these models have a strong command of complex or non-canonical argument structures like ditransitives (Sue gave Dan a book) and passives (The book was read). Sentences with long distance dependencies like questions (What do you think I ate?) challenge all models, but for these, BERT and GPT have a distinct advantage over the baseline. We conclude that recent sentence encoders, despite showing near-human performance on acceptability classification overall, still fail to make fine-grained grammaticality distinctions for many complex syntactic structures.

研究の動機と目的

• 事前学習された文埋め込み表現のための細分化され、ドメインに依存しない言語的評価の不足を補うために、受容性判断と特定の句法学的現象を結びつけるデータセットを構築すること。
• BERT、GPT、およびBiLSTMベースラインが、目的語の入れ替え、移動、修飾など、多様な句法学的構造をどの程度理解しているかを調査すること。
• 現在のモデルにとって最も挑戦的である句法学的現象を特定すること、特に長距離依存関係や非標準的構造の観点から。
• 理論的言語学的概念と直接比較可能な、言語的に解釈可能なベンチマークを提供すること。

提案手法

• 主流の学術的出版物からの専門的言語学的知識を用いて、13の句法学的現象クラス（それぞれがより具体的な構造の集合として定義される）を用いて、CoLA開発セットをアノテーションすること。
• アノテーション済みデータセットをプローブタスクとして使用：事前学習された文埋め込み表現（BERT、GPT、BiLSTM）の上に小さな分類器を訓練し、受容性を予測すること。
• 特定の句法学的クラスにおけるモデルのパフォーマンスを評価し、現象ごとの正確性を比較することで、相対的な強みと弱みを特定すること。
• 受容性の複雑さや構造的距離に敏感かどうかを評価するため、受動態、強調文、疑問文、省略、付加語などの現象に焦点を当てる。
• 元のCoLAデータセットを受容性判断の出典として使用しつつ、詳細な句法学的アノテーションを追加することで、細分化された分析を可能にすること。
• 一般的な表現学習とは分離された文法的知識を特定するため、標準的なプローブ手法を適用し、受容性予測を診断的タスクとして扱うこと。

実験結果

リサーチクエスチョン

• RQ1 事前学習された文埋め込み表現（BERTやGPT）にとって、どの句法学的現象が最も困難であり、BiLSTMベースラインと比べてどう異なるか？
• RQ2 質問や強調文のような長距離依存関係を含む現象において、BERTとGPTがBiLSTMに比べてどの程度優れた文法的知識を示すか？
• RQ3 受動態や二目的語動詞のような非標準的目的語構造は、モデルのパフォーマンスにどのような影響を及ぼし、顕著な課題を生じるか？
• RQ4 BERTとGPTがBiLSTMに比べて優位性を示さない特定の句法学的構造は存在するか？ これは、それらのモデルの言語的一般化能力に何を示唆するか？
• RQ5 これらのモデルは、一致や語順の誤りのような微妙な文法的違反と文の受容性の違いをどの程度正確に区別できるか？

主な発見

• BERTとGPTは、強調文（例：'It is Bo that left'）や長距離依存関係を含む疑問文（例：'What do you think I ate?）のような移動現象において、BiLSTMよりも顕著に高い正確性を達成している。
• BiLSTMモデルは長距離依存関係に対して最も苦戦しており、一方でBERTとGPTは強いパフォーマンスを維持している。これは、注意メカニズムが構造的複雑さをより効果的に処理できることを示唆している。
• 受動態（例：'The book was read'）や二目的語動詞（例：'Sue gave Dan a book'）のような非標準的目的語構造は、すべてのモデルがよく理解しており、目的語の入れ替えパターンの学習が堅牢であることが示された。
• 付加語（例：'Sue exercises in the morning'）を含む構造では、モデル間で顕著なパフォーマンス差が認められず、これらはどのエンコーダーに対しても特に困難ではないことが示された。
• 省略や代名詞の省略（例：'I saw Bill while you did so Mary'）はすべてのモデルにとって困難であるが、BERTとGPTはBiLSTMに比べてわずかな優位性を示している。
• 本研究は、全体的な受容性分類において人間水準に近いパフォーマンスを示す一方で、長距離依存関係を含む複雑な文法的構造における細分化された文法的妥当性の区別には依然として失敗していることが判明した。