[論文レビュー] Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data

Alana Marzoev, Samuel Madden+3 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 28被引用数 19

ひとこと要約

本論文は、自然言語処理におけるシミュレーションから実世界への転移フレームワークを提案する。この手法は、規則に基づく文法によって生成された合成言語データでモデルを訓練し、事前学習された文埋め込みを用いて実際の発話文を合成言語空間に射影することで、自然言語に一般化する。このアプローチは、自然言語の訓練データを一切使用せずに、意味解析および指示従いタスクで最先端の性能を達成し、一部のケースでは人間がアノテートしたデータセットで微調整されたモデルを上回る性能を示した。

ABSTRACT

Large, human-annotated datasets are central to the development of natural language processing models. Collecting these datasets can be the most challenging part of the development process. We address this problem by introducing a general purpose technique for ``simulation-to-real'' transfer in language understanding problems with a delimited set of target behaviors, making it possible to develop models that can interpret natural utterances without natural training data. We begin with a synthetic data generation procedure, and train a model that can accurately interpret utterances produced by the data generator. To generalize to natural utterances, we automatically find projections of natural language utterances onto the support of the synthetic language, using learned sentence embeddings to define a distance metric. With only synthetic training data, our approach matches or outperforms state-of-the-art models trained on natural language data in several domains. These results suggest that simulation-to-real transfer is a practical framework for developing NLP applications, and that improved models for transfer might provide wide-ranging improvements in downstream tasks.

研究の動機と目的

• NLPアプリケーションにおける大規模かつ人間がアノテートした自然言語データセットを収集する高コストと困難さに対処すること。
• 合成言語データから現実世界の自然言語発話文への有効な一般化を、言語理解タスクにおいて実現すること。
• 大量の人間によるアノテーションを必要としないが、高い性能を維持する、実用的でスケーラブルなエンドツーエンド学習の代替手法を開発すること。
• 事前学習された文埋め込みを用いた射影ベースの転移が、合成から実世界へのNLP転移において、直接的な表現転送を上回ることを示すこと。
• 最小限のアノテーション作業で、新しいドメインにおいて接地された言語理解システムを構築するための再利用可能なフレームワークを提供すること。

提案手法

• 目的の行動（例：操作、照会）を自然に聞こえる発話文にマッピングする高精度な規則ベースの文法を用いて、合成訓練データを生成する。
• 定義された言語分布内での発話文の正確な解釈を可能にするために、この合成データでモデルを訓練する。
• 事前学習された文埋め込み（例：BERT）を用いて、自然言語文と合成文との間で意味を保存する距離測度を学習する。
• 推論時において、各自然言語発話文が埋め込み空間内で最も近い合成発話文に射影され、意味が保持される。
• 射影された合成発話文は、事前に訓練されたモデルによって解釈され、現実世界の言語への一般化が可能になる。
• フレームワークは、意味解析および指示従いベンチマークで評価され、射影メカニズムの有効性を検証するためのアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 合成言語データのみで訓練されたモデルが、大規模な自然言語データセットで訓練されたモデルと同等の性能を達成できるか？
• RQ2 文埋め込みを用いた射影は、合成言語分布から自然言語分布への知識転送においてどの程度効果的か？
• RQ3 合成空間内で類義語を見つけるために事前学習表現を用いることは、エンドツーエンドモデルにおける直接的な表現転送を上回るか？
• RQ4 文法で設計された合成データと、埋め込みベースの射影を組み合わせることで、接地された言語理解における人間によるアノテーションデータの必要性を低減できるか？
• RQ5 データ分布のシフトが、シミュレーションから実世界へのNLP転移におけるモデルの一般化に与える影響は何か？

主な発見

• 8つの意味解析データセットにおいて、自然言語訓練データを一切使用せずに、3つのうち8つのタスクで教師あり意味解析器の性能に匹敵またはそれを上回った。
• グリッドワールド環境における接地された指示従いベンチマークにおいて、人間のアノテーションで微調整された標準モデルを上回る性能を示した。
• 自然言語発話文を合成言語空間に射影する文埋め込みの使用により、分布シフトが生じても高精度な解釈が可能になった。
• 合成データから自然言語データへの事前学習表現の直接的転送は、合成空間内で類義語を見つけるために埋め込みを用いる方法に比べて効果が低かった。
• フレームワークにより、開発者は合成データと事前学習のみで、新しいドメインにおいて高精度な言語理解システムを構築でき、アノテーション負荷を顕著に低減できるようになった。
• 本手法は、データが不足する状況やインタラクティブなアプリケーション設定において、シミュレーションから実世界への転移がNLP分野で実用的で効果的なパラダイムであることを示している。