[論文レビュー] Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research

David Schlangen|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 40被引用数 20

ひとこと要約

この論文は、自然言語処理研究における現在の手法を批判し、言語的タスク、マイクロワールド、対話ゲームを区別することで、一般言語能力のモデル化に向けた進展が、認知的能力に明示的に根ざしている必要があると主張する。一般言語理解の根本的進展を実現するためには、言語学および認知心理学の知見を活用して、新しいタスクやデータセットの理論的枠組みを明確にし、表面的なパフォーマンス向上を超えて進歩をもたらすものでなければならない。

ABSTRACT

"This paper introduces a new task and a new dataset", "we improve the state of the art in X by Y" -- it is rare to find a current natural language processing paper (or AI paper more generally) that does not contain such statements. What is mostly left implicit, however, is the assumption that this necessarily constitutes progress, and what it constitutes progress towards. Here, we make more precise the normally impressionistically used notions of language task and language game and ask how a research programme built on these might make progress towards the goal of modelling general language competence.

研究の動機と目的

• NLP研究における新しい言語的タスクやデータセットの導入に裏付けられる暗黙の仮定を明確化すること。
• 言語的タスク、マイクロワールド、対話ゲームという概念を明確に区別し、形式化すること。
• NLPにおける進展は、パフォーマンス指標だけでなく、コアな言語能力のモデル化への貢献によっても評価されなければならないと主張すること。
• 言語能力に関する理論的主張を明確かつ検証可能なものにするために、言語学および認知心理学とのより強い統合を提唱すること。
• 特定の認知的能力（例：合成性、参照解消）に関連する関連性に基づいて、新しいタスクやデータセットを評価するための枠組みを提供すること。

提案手法

• 言語的タスクを、少なくとも一方の空間（入力または出力）が自然言語を含む、入力空間と出力空間の間の写像として定義する。これは、拡張的（例：入力-出力ペアのデータセット）および内包的（例：翻訳）の両方の指定を含む。
• 行動に対する無関心な反応を生成するシミュレーテッド環境としての「マイクロワールド」を導入し、状況的で繰り返し可能な言語使用の研究を可能にする。
• ルールで規制され、観察可能で応答可能な環境を伴う、繰り返し行われる構造的な対話的相互作用としての「対話ゲーム」を形式化する。
• モデルの評価は、タスクのパフォーマンスだけでなく、文法的構造や合成的推論といった理論的に意味のある構造を内部に内蔵しているかどうかにも基づくべきだと提唱する。
• 新しいデータセットやタスクを認知的能力に根ざさせるために、「データシート」と明確な理論的根拠の提示を推奨する。
• 歴史的例（視覚的質問応答や形状データセットなど）を用いて、合成性といった特定の能力に焦点を当てることで、タスク設計を改善できると示す。

実験結果

リサーチクエスチョン

• RQ1 NLP研究において、言語的タスクは対話ゲームやマイクロワールドとどのように区別されるか？
• RQ2 コアな言語能力のモデル化を進展させない場合、新しいデータセットやタスクの導入をどのように正当化できるか？
• RQ3 現在の評価手法は、一般言語能力への真の進展をどのように隠蔽しているか？
• RQ4 なぜ、言語学および認知心理学からの理論的構造を用いて、新しいNLPタスクやデータセットを根拠づける必要があるのか？
• RQ5 パフォーマンスだけでなく、内部表現構造と認知メカニズムとの整合性についても、モデルをどのように評価できるか？

主な発見

• この論文は、NLP研究における繰り返し発生する方法論的欠陥を特定している。すなわち、新しいタスクやデータセットを導入することは、それ自体が進展であると暗黙のうちに仮定しているが、その背後にある言語能力に明確な根拠がないこと。
• 視覚的質問応答のための広く使われているデータセットの多くが「言語バイアス」に苦しんでおり、視覚的入力がなくてもモデルが成功してしまうことから、より代表的なデータの必要性が浮き彫りになる。
• アンドレアスら（2016）が導入した形状データセットは、複雑な空間的関係をプログラムで生成した質問を用いることで、合成的推論能力を明示的にターゲットにした、より良いアプローチの例である。
• この論文は、自然画像に基づくデータセットに比べて、合成データセットが特定の認知的能力を検証するのに、より妥当である可能性があると示している。
• モデルがタスクに訓練された後は、内部構造（例：文法的構造木が形成されているか）の分析が行われるべきであり、これは合成性といった理論的構造の有無を示す証拠となる。
• この論文は、言語能力に関する主張を明確にし、検証可能かつ蓄積可能なものにするために、言語学および認知心理学からの構造的構成要素を用いたより強い理論的根拠が不可欠であると結論づけている。