[論文レビュー] COGS: A Compositional Generalization Challenge Based on Semantic Interpretation

Najoung Kim, Tal Linzen|arXiv (Cornell University)|Oct 12, 2020

Natural Language Processing Techniques参考文献 33被引用数 8

ひとこと要約

COGSは、一貫した分布外ギャップ（例：なじみのある語と文法構造の新しい組み合わせ）を導入することで、NLPモデルの構成的汎化能力を評価することを目的とした意味解析ベンチマークである。訓練データにない構造的・語彙的パターンに対して汎化を要請するが、変換器（Transformers）とLSTMは、分布内精度は96–99%に達するが、汎化精度は16–35%にとどまり、ランダムシードに極めて敏感である。これは、構成的汎化能力に根本的な限界があることを示している。

ABSTRACT

Natural language is characterized by compositionality: the meaning of a complex expression is constructed from the meanings of its constituent parts. To facilitate the evaluation of the compositional abilities of language processing architectures, we introduce COGS, a semantic parsing dataset based on a fragment of English. The evaluation portion of COGS contains multiple systematic gaps that can only be addressed by compositional generalization; these include new combinations of familiar syntactic structures, or new combinations of familiar words and familiar structures. In experiments with Transformers and LSTMs, we found that in-distribution accuracy on the COGS test set was near-perfect (96--99%), but generalization accuracy was substantially lower (16--35%) and showed high sensitivity to random seed ($\pm$6--8%). These findings indicate that contemporary standard NLP models are limited in their compositional generalization capacity, and position COGS as a good way to measure progress.

研究の動機と目的

• 単なるパターンマッチングを超えた構成的汎化をテストできる、堅牢なベンチマークの不足を解消すること。
• 変換器やLSTMといった現代のニューラルアーキテクチャが、訓練時に見なかったが、なじみのある語と文法構造の新しい組み合わせに対して、構成的に汎化できるかを評価すること。
• 現在のモデルの誘導的バイアスの限界を露呈する、構造的および語彙的汎化ギャップを同定すること。
• 形式的意味論に基づくラムダ計算を用いた意味表現を用いて、言語的妥当性と構成的整合性を保証する、形式的文法に根ざしたベンチマークを提供すること。

提案手法

• COGSは、英語の断片に基づいた意味解析データセットを構築し、訓練集合と評価集合の間で構造的および語彙的組み合わせが体系的に異なるように設計されている。
• 評価集合には、新しい語-構造の組み合わせ、なじみのあるフレーズの新しい文法的役割、右に枝分かれする構造における最大深さ12の埋め込みレベルといった、系統的なギャップが含まれる。
• 意味表現は、形式的意味論にインspiredされたラムダ計算を用いて生成され、構成的構造と意味の整合性を保証する。
• モデルは、自然言語文をその対応する意味形式にマッピングするように学習され、意味解析をシーケンス・ツー・シーケンスタスクとして扱う。
• 汎化タスクには、馴染みのある語を新しい文法的役割（例：主語位置に目的語としての名詞句を配置）に用いる解釈、動詞の項構造の変化、未観測の文法的位置における前置詞句（PP）修飾などが含まれる。
• データセットには、構造的汎化（例：新しいフレーズのネスト深さ）と語彙的汎化（例：新しい語-構造ペア）をテストするための制御された変化が含まれており、すべての構造は形式文法に基づいている。

実験結果

リサーチクエスチョン

• RQ1 変換器やLSTMといった標準的なニューラル言語モデルは、訓練時に確認しなかったが、なじみのある語と文法構造の新しい組み合わせに対して、構成的に汎化できるか？
• RQ2 一般化性能がランダムシードに依存する程度はどの程度か。これは、構成的誘導的バイアスの学習が不安定であることを示唆する。
• RQ3 構造的汎化（例：新しいフレーズのネストや項の役割の変更）と語彙的汎化（例：新しい語-構造ペア）のどちらがより困難であるか？
• RQ4 人間の処理が同程度の深さ（例：深さ12）で劣化するにもかかわらず、モデルは深さ12の構文的埋め込みに対し、汎化できるか？
• RQ5 訓練データに特定の文法的構造（例：主語位置における前置詞句修飾）が欠落している場合、意味が構成的に導出可能であっても、モデルはそれらの構造に汎化できるか？

主な発見

• 変換器とLSTMはCOGSにおいて分布内テスト精度が一貫して高く、96%～99%の範囲にとどまり、見慣れたパターンに対する強力な性能を示している。
• 分布外の汎化精度は著しく低く、16%～35%の範囲にとどまり、構成的汎化の重大な失敗を示している。
• 一般化性能はランダムシードに極めて敏感であり、実行間で標準偏差が6%～8%に達しており、構成的誘導的バイアスの学習が不安定であることを示している。
• 構造的汎化（例：新しい文法構造の組み合わせや、なじみのあるフレーズの新しい文法的役割）は、語彙的汎化（例：新しい語-構造ペアの組み合わせ）よりもはるかに困難であることが判明した。
• モデルは深さ12の埋め込み深さに対しても著しく困難を示し、深さ3ではほぼゼロの精度にとどまり、堅牢な構造的誘導的バイアスの欠如を示している。
• 結果から、現在の標準的なNLPモデルは、人間のような体系的（systematic）な能力を発揮するための構成的誘導的バイアスを欠いていることが示唆され、制御された文法に基づいて訓練を始めたとしても同様である。