[論文レビュー] Countering Language Drift with Seeded Iterated Learning

Yuchen Lu, Soumye Singhal+3 more|arXiv (Cornell University)|Mar 28, 2020

Topic Modeling参考文献 60被引用数 4

ひとこと要約

本論文は、定期的に訓練された教師エージェントの模倣によって学生エージェントを再訓練することにより、目的志向対話エージェントにおける言語のずれを是正する、タスクに依存しない手法であるSeeded Iterated Learning（SIL）を提案する。SILは、タスク完了を向上させつつ、文法的・意味的言語構造を維持し、外部の言語的制約なしに、トロイ・ゲームおよび実世界の言語ゲームの両方でベースラインを上回る性能を発揮する。

ABSTRACT

Pretraining on human corpus and then finetuning in a simulator has become a standard pipeline for training a goal-oriented dialogue agent. Nevertheless, as soon as the agents are finetuned to maximize task completion, they suffer from the so-called language drift phenomenon: they slowly lose syntactic and semantic properties of language as they only focus on solving the task. In this paper, we propose a generic approach to counter language drift called Seeded iterated learning (SIL). We periodically refine a pretrained student agent by imitating data sampled from a newly generated teacher agent. At each time step, the teacher is created by copying the student agent, before being finetuned to maximize task completion. SIL does not require external syntactic constraint nor semantic knowledge, making it a valuable task-agnostic finetuning protocol. We evaluate SIL in a toy-setting Lewis Game, and then scale it up to the translation game with natural language. In both settings, SIL helps counter language drift as well as it improves the task completion compared to baselines.

研究の動機と目的

• インタラクティブ強化学習によって訓練された目的志向対話エージェントにおける言語のずれを是正すること。
• 微調整中に事前学習済み言語モデルの文法的・意味的性質を維持すること。
• 外部の言語的知識や制約を必要としない、タスクに依存しない自己教師学習手法を開発すること。
• 制御されたおよび実世界の言語ゲームにおいて、この手法を実証的に検証すること。
• インタラクティブトレーニング中に模倣学習が言語分布をどのように安定化させるかのメカニズムを理解すること。

提案手法

• SILは、教師エージェントのインタラクティブトレーニングと、学生エージェントによる監視付き模倣学習を交互に繰り返す。
• 各イテレーションで、教師は現在の学生のコピーとして初期化され、タスク完了を最大化するように強化学習で微調整される。
• 教師はグリーディデコードを用いて、タスク関連の発話データセットを生成し、それを学生の監視付き学習による微調整に使用する。
• 複数の世代にわたり繰り返され、各学生は新たに訓練された教師の出力に基づいて改善される。
• この手法は、模倣学習のインダクティブバイアスを活用し、構造のないタスク固有の言語をフィルタリングし、自然言語の性質を維持する。
• プロトコルは、1ターン送信者受信者ゲーム（Lewis Game）およびフランス語＝ドイツ語翻訳ゲームに適用され、耐久性およびスケーラビリティの評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 自己教師学習的かつタスクに依存しない手法が、インタラクティブ対話エージェントにおける言語のずれを効果的に是正できるか？
• RQ2 Seeded Iterated Learning（SIL）は、インタラクティブトレーニング中に文法的・意味的構造をどのように維持するか？
• RQ3 SILは、標準的な微調整ベースラインと比較して、タスク完了を向上させつつ言語の質を維持できるか？
• RQ4 SILを早期に停止した場合、言語のずれとタスクパフォーマンスにどのような影響があるか？
• RQ5 さまざまなトレーニング環境において、言語の尤度と意味的整合性の指標は、言語のずれとどのように相関するか？

主な発見

• SILは、ベースラインと比較して負の対数尤度（NLL）を11%改善することで、言語のずれを低減し、生成発話の文法的構造が向上していることを示している。
• 模倣後、学生は教師よりも常に低いNLLを達成しており、監視付き微調整が構造のない言語をフィルタリングしていることが示されている。
• SILを早期に停止した場合、タスクパフォーマンスは継続的に向上するが、言語の質は急速に低下するため、SILがトレーニング全体を通して言語のずれを抑制していることが示唆される。
• SILは言語尤度を向上させつつも、安定した意味的整合性（R1）を維持しており、文法を向上させつつ意味を保持していることが示唆される。
• 翻訳ゲームでは、SILは、vanilla GumbelやS2Pベースラインと比較して、より文法的に正しいかつ理解しやすい文を生成しており、希少語の処理に対しても有効である。
• SILは、タスク完了および言語の質の両面で強力なベースラインを上回っており、インタラクティブ学習中に自然言語の性質を効果的に維持できることを示している。