[論文レビュー] Non-Monotonic Sequential Text Generation

Sean Welleck, Kianté Brantley+2 more|arXiv (Cornell University)|Feb 5, 2019

Natural Language Processing Techniques被引用数 63

ひとこと要約

この論文は、イミテーション学習を通じて学習される二分木ベースのポリシーを用いて非単調生成順序を学習するテキスト生成モデルのフレームワークを提案し、左から右へのモデルと競合する性能を達成する。

ABSTRACT

Standard sequential generation methods assume a pre-specified generation order, such as text generation methods which generate words from left to right. In this work, we propose a framework for training models of text generation that operate in non-monotonic orders; the model directly learns good orders, without any additional annotation. Our framework operates by generating a word at an arbitrary position, and then recursively generating words to its left and then words to its right, yielding a binary tree. Learning is framed as imitation learning, including a coaching method which moves from imitating an oracle to reinforcing the policy's own preferences. Experimental results demonstrate that using the proposed method, it is possible to learn policies which generate text without pre-specifying a generation order, while achieving competitive performance with conventional left-to-right generation.

研究の動機と目的

• 外部監督なしに非単調生成順序の探究を動機づける。
• 任意の順序で出力できるツリーベースの生成フレームワークを開発する。
• 学習をオラクルとコーチングを用いた模倣学習として定式化し、ポリシー学習を導く。
• 非単調生成が複数のタスクで左から右のベースラインと同等または上回ることを示す。

提案手法

• 生成プロセスをレベル順走を用いて二分木を構築し、最終列を中順再帰で出力するモデル化。
• ポリシーをニューラルネットワーク（LSTMまたはTransformer）として表現し、部分木が与えられたときに次のトークンまたは終了トークンの可能性分布を出力する。
• ローイン/ローアウトを用いた模倣学習として、オラクルポリシーとKL発散ベースのコストにより learner をオラクルの好む行動に合わせるよう学習を枠組み化。
• コーチングとアニーリングコーチングまたはオラクルを導入して、学習者の好みに向けて探索を維持しつつ段階的にバイアスを掛ける。
• 入力 X に条件付けを許可（例：翻訳や画像キャプションなど）ために X をエンコードし、それを用いてポリシー状態を初期化または調整。
• エンドトークン予測とトークン予測を分けるバリアントを提供し、改善のために明示的な木のエンコーディングを組み込むことも可。

実験結果

リサーチクエスチョン

• RQ1 テキスト生成器は事前に指定された単調性順序なしに有用な生成順序を学習できるのか。
• RQ2 非単調生成ポリシーは言語モデリング、再順序付け、翻訳タスクで伝統的な左-to-rightモデルと比べてどれほど効果的か。
• RQ3 非単調系列生成の学習-to-search戦略（オラクルの定義、ローイン/ローアウトスキーム）はどれが最も訓練を促進するか。
• RQ4 アニーリングコーチングは探索と最終性能を均一コーチングや純粋コーチングオラクルより改善するか。
• RQ5 フレームワークは補助入力（翻訳のような条件付き生成）で手作業の監督なしに条件づけ可能か。

主な発見

• このフレームワークは固定順序に依存しない生成ポリシーの学習を可能とし、易しい順序 behavior を示すことがある。
• アニーリングコーチングで学習したポリシーは、より流暢で斬新な文を生み出し、他の非単調設定より検証データに近い Bleu 相当の品質を達成する。
• 語の並べ替えでは、アニーリングと均一ポリシーが左-to-rightのベースラインをF1で上回り、検証・テストセットで BleU スコアを競争力を維持する。
• 機械翻訳では、非単調ポリシーは左-to-rightモデルと競合する指標を達成し、アニーリング変種は複数の指標でベースライン品質に近づくまたは超える。
• この手法は-conditioning generation（例：翻訳）を Transformer ベースのポリシーとエンドトークン処理を用いて、標準的な自己回帰デコード制約なしに成功を収める。