[論文レビュー] Insertion-based Decoding with automatically Inferred Generation Order

Jiatao Gu, Qi Liu+1 more|arXiv (Cornell University)|Feb 4, 2019

Natural Language Processing Techniques参考文献 48被引用数 26

ひとこと要約

この論文では、自己回帰的デコード中に位置を相対オフセットとしてモデル化することにより、柔軟な生成順序を推論する、新しい挿入ベースのデコード手法InDIGOを提案する。Transformerに相対位置に敏感な自己注意を拡張することで、再編集や知識蒸留を必要とせず、機械翻訳、コード生成、画像キャプション、語順回復のタスクにおいて、競争的または優れた性能を達成する、非左から右への適応的生成を可能にする。

ABSTRACT

Conventional neural autoregressive decoding commonly assumes a fixed left-to-right generation order, which may be sub-optimal. In this work, we propose a novel decoding algorithm -- InDIGO -- which supports flexible sequence generation in arbitrary orders through insertion operations. We extend Transformer, a state-of-the-art sequence generation model, to efficiently implement the proposed approach, enabling it to be trained with either a pre-defined generation order or adaptive orders obtained from beam-search. Experiments on four real-world tasks, including word order recovery, machine translation, image caption and code generation, demonstrate that our algorithm can generate sequences following arbitrary orders, while achieving competitive or even better performance compared to the conventional left-to-right generation. The generated sequences show that InDIGO adopts adaptive generation orders based on input information.

研究の動機と目的

• 神経的自己回帰モデルにおける固定された左から右への生成順序の制限を解消すること。
• 各ステップで再エンコーディングを必要とせず、任意の生成順序をサポートするデコーディングアルゴリズムを開発すること。
• 事前に定義されたまたは固定された順序に依存せず、入力コンテキストに基づいて最適な生成順序を適応的に推論できるようにすること。
• 相対位置予測を伴う挿入ベースの生成を可能にしつつ、計算効率を維持することで、シーケンス生成の性能を向上させること。
• 適応的生成順序が、従来の左から右へのデコードよりも優れた性能をもたらすことを実証すること。

提案手法

• 生成順序を潜在変数として表現するために、絶対位置を避ける相対位置ベースの表現を用いる。
• 各デコードステップで、次のトークンとその出力シーケンス内での相対挿入位置を同時に予測する。
• Shawら（2018）のインスパイアを受けて、動的挿入操作をサポートする相対位置エンコーディングをTransformerアーキテクチャに拡張する。
• 生成順序の近似事後分布を用いて、最尤推定の下界（ELBO）を最適化することで学習を行う。
• 2つの推論戦略を用いる：1つは事前に定義された順序を用いるもの、もう1つはビームサーチを用いて適応的順序を推論するもの。
• 最終的なシーケンスは、予測されたトークンを推論された相対位置に挿入することで構築され、自己回帰的生成を維持する。

実験結果

リサーチクエスチョン

• RQ1 従来の左から右へのデコードと比較して、柔軟で非左から右への生成順序は、シーケンス生成の性能を向上させることができるか？
• RQ2 固定または手動で設計された順序に依存せず、入力コンテキストに基づいて最適な生成順序を自動的に推論できるか？
• RQ3 相対位置予測を伴う挿入ベースのデコードは、再エンコーディングや知識蒸留を必要とせず、競争的な性能を達成できるか？
• RQ4 適応的生成順序は入力コンテンツに応じてどのように変化するか？また、ビームサーチを用いることで効果的に学習可能か？
• RQ5 提案手法は、翻訳、コード生成、画像キャプションなど、多様なシーケンス生成タスクに一般化可能か？

主な発見

• InDIGOは、機械翻訳、語順回復、コード生成、画像キャプションの4つの実世界タスクにおいて、左から右への自己回帰的モデルと同等または優れた性能を達成する。
• 事例研究により、モデルが入力コンテキストに応じた適応的生成順序を効果的に学習していることが示された。
• 語順回復および画像キャプションタスクにおいて、InDIGOはベースラインの左から右のTransformerを上回り、柔軟な順序付けの利点を実証した。
• 従来の挿入ベースのモデルとは異なり、InDIGOは各ステップで部分シーケンスを再エンコーディングする必要がなく、絶対位置を用いる手法よりも効率的である。
• 知識蒸留を必要とせず、Sternら（2019）のような関連研究とは異なり、競争的な結果を得るために知識蒸留を必要としていない。
• 相対位置の使用により、効率的なアテンション計算が可能となり、再エンコーディングに伴う計算オーバーヘッドを回避し、スケーラブルなアプローチを実現した。