[論文レビュー] Insertion-Deletion Transformer

Laura Ruis, Mitchell Stern+2 more|arXiv (Cornell University)|Jan 15, 2020

Natural Language Processing Techniques参考文献 11被引用数 7

ひとこと要約

本稿では、2つのTransformerデコーダーを用いて挿入と削除の段階を交互に実行する、新しいシーケンス生成フレームワーク「インサーション・デリーション・トランスフォーマー」を提案する。挿入エラーに基づくオンポリシー学習による削除の訓練を可能にすることで、テキスト編集や翻訳などのタスクにおいて、より高い正確性と柔軟性を実現する。シフトされたアルファベット文字列ではBLEUスコアが91.49対70.15、カエサル暗号では37.57対35.55と顕著な向上を達成した。

ABSTRACT

We propose the Insertion-Deletion Transformer, a novel transformer-based neural architecture and training method for sequence generation. The model consists of two phases that are executed iteratively, 1) an insertion phase and 2) a deletion phase. The insertion phase parameterizes a distribution of insertions on the current output hypothesis, while the deletion phase parameterizes a distribution of deletions over the current output hypothesis. The training method is a principled and simple algorithm, where the deletion model obtains its signal directly on-policy from the insertion model output. We demonstrate the effectiveness of our Insertion-Deletion Transformer on synthetic translation tasks, obtaining significant BLEU score improvement over an insertion-only model.

研究の動機と目的

• 挿入のみのモデルでは生成エラーを是正できないという限界を解消するため、繰り返しの修正が可能な削除段階を導入する。
• Levenshtein Transformer や他の先行研究とは異なり、複雑なエキスパートポリシーやトークン数予測を回避する、簡素化された訓練フレームワークを構築する。
• 並列でのトークン生成を可能とし、テキスト簡略化やスタイル転送などの編集タスクに対応できる、柔軟な非自己回帰的シーケンス生成を実現する。
• オンポリシー削除学習が、アーキテクチャ的・訓練的複雑性を増すことなく、合成タスクにおけるシーケンス生成品質を顕著に向上させることを示す。

提案手法

• モデルは2段階の反復的プロセスで動作する：まず、標準的なインサーション・トランスフォーマーを用いて、さまざまな位置にトークンを挿入することで候補出力を生成する挿入段階。
• 次に、挿入モデルの出力をもとに、誤ったまたは不要なトークンを削除する削除段階を適用する。
• 削除の訓練にはオンポリシー信号を用いる：削除モデルは、挿入モデルの出力（誤りを含む）からサンプリングされたシーケンスを直接学習対象とすることで、エンドツーエンドの改善を可能にする。
• 挿入段階と削除段階は、それぞれ独立したTransformerデコーダーヘッドとして実装され、削除ヘッドは挿入によって生成されたシーケンスを入力として受ける。
• このフレームワークは並列生成をサポートし、入力・出力シーケンスの長さが可変な状況にも適用可能であり、すべての位置が「シーケンス終了」を予測した時点で生成を終了する。
• Levenshtein Transformer とは異なり、動的計画法や補助分類器を避けることで、訓練および推論の両方を簡素化する。

実験結果

リサーチクエスチョン

• RQ1 合成タスクにおいて、挿入のみのモデルに比べて、二段階の挿入・削除フレームワークがシーケンス生成品質を向上させることができるか？
• RQ2 挿入モデル自身の出力を用いて削除をオンポリシーで学習する方法が、オフポリシーまたはエキスパートベースの手法に比べて性能向上をもたらすか？
• RQ3 テキスト簡略化やスタイル転送などの編集タスクを、元のシーケンスから出発する形で効率的に処理できるか？
• RQ4 語彙的多様性の高いタスク、たとえばカエサル暗号のようなタスクにおいて、削除段階がモデルの収束性とBLEUスコアに与える影響は何か？
• RQ5 Levenshtein Transformer や他の既存の挿入・削除フレームワークに比べ、本手法は推論速度や訓練の複雑性の面でより単純かつ効率的であるか？

主な発見

• シフトされたアルファベット文字列タスクにおいて、インサーション・デリーション・トランスフォーマーはBLEUスコア91.49を達成し、挿入のみのモデルの70.15に比べ顕著な向上を示した。
• より複雑なカエサル暗号タスクにおいても、モデルは37.57のBLEUスコアを達成し、挿入のみのベースラインの35.55から向上した。これは、非連続的かつ多様な入力シーケンスに対しても頑健であることを示している。
• 削除段階は、挿入モデルが導入した誤りを効果的に是正しており、合成タスクの両方で一貫したBLEUスコアの向上が確認された。
• 敵対的削除学習は合成タスクでの性能向上に寄与しなかった。これは、挿入モデル自身の出力を用いたオンポリシーの監視が十分かつ効果的であることを示唆している。
• Levenshtein Transformer や他のモデルとは異なり、補助的なトークン数予測を必要としない本フレームワークは、単に2つのTransformerデコーダーのみで構成されるため、訓練および推論の複雑性が低く抑えられている。
• 挿入と削除のステップを交互に繰り返すことで、効率的な繰り返しの修正が可能となり、並列化が可能な柔軟な非自己回帰的生成が実現された。