[論文レビュー] Sequence Modeling with Unconstrained Generation Order

Dmitrii Emelianenko, Elena Voita+1 more|arXiv (Cornell University)|Nov 1, 2019

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

この論文では、出力シーケンスを任意の順序でトークンを挿入することで生成するニューラルシーケンスモデル、INTRUSを提案する。学習中に事前の制約なしに最適な生成順序を学習する。このモデルは、機械翻訳、画像からLaTeXへの変換、画像キャプション生成のタスクにおいて、固定順序ベースラインを上回る性能を発揮し、予測が簡単なトークン（例：句読 punctuation、機能語）を生成プロセスの初期段階で優先することがわかる。

ABSTRACT

The dominant approach to sequence generation is to produce a sequence in some predefined order, e.g. left to right. In contrast, we propose a more general model that can generate the output sequence by inserting tokens in any arbitrary order. Our model learns decoding order as a result of its training procedure. Our experiments show that this model is superior to fixed order models on a number of sequence generation tasks, such as Machine Translation, Image-to-LaTeX and Image Captioning.

研究の動機と目的

• 左から右への固定順序（例：左から右）に起因する制限を克服し、多様性と適応性を向上させること。
• タスク固有の事前知識に依存せずに、学習の副産物として最適な生成順序を学習するモデルを開発すること。
• 機械翻訳、画像からLaTeXへの変換、画像キャプション生成などの多様なシーケンス生成タスクにおけるパフォーマンスを向上させること。
• モデルが意味のある生成順序の好み（例：予測が簡単なトークンを最初に生成する）を学習しているかどうかを分析すること。

提案手法

• モデルは、成長する部分シーケンス内の任意の位置にトークンを段階的に挿入することでシーケンスを生成し、(位置, トークン)のペアまたはEOSで表現する。
• 現在の部分出力と入力を前提に、各挿入の条件付き確率を推定するためにトランスフォーマーに基づくアーキテクチャを用いる。
• 真の尤度の下界を用いて、最も可能性の高い経路に尤度質量を集約することで、参照シーケンスの対数尤度を最大化する学習目的を採用する。
• Vinyalsらのアイデアにインspiredされた、微分可能な近似を用いて最大尤度目的を近似し、挿入経路のグリーディーやビームサーチを実行する。
• 各入力に対して単一の最適経路を仮定することで、O(|Y|!)の計算が不可能になるのを回避し、勾配ベース最適化を効率的に行える。
• 生成順序に明示的な教師信号を用いずに、標準的なバックプロパゲーションを用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前のインダクティブバイアスなしに、任意の非固定順序で生成できるシーケンスモデルは、学習可能か？
• RQ2 制約のない生成順序は、固定順序ベースラインと比較して、シーケンス生成タスクのパフォーマンスを向上させるか？
• RQ3 モデルが学習する生成順序の好みはどのようなものか？人間がアノテートした言語的パターンと整合性があるか？
• RQ4 初期の生成ステップでは、関数語や句読 punctuation のような予測が簡単なトークンが支配的になるか？

主な発見

• INTRUSは、機械翻訳、画像からLaTeXへの変換、画像キャプション生成タスクにおいて、左から右、右から左のベースラインを上回る性能を発揮する。
• モデルは、句読 punctuation や機能語（例：定冠詞、接続詞）をデコードプロセスの初期段階で生成する傾向を学習しており、これは「簡単なものを最初に」戦略に一致する。
• 名詞、形容詞、前置詞、副詞は、ある程度の文脈が確立された後、通常は中盤に生成される。
• 動詞や助詞は、予測が難しいとモデルが認識するため、最も後ろに挿入される傾向がある。
• モデルは入力に応じて生成順序を適応させ、左から右、右から左、中心から外側へのシーケンスなど、多様なパターンを生成する。
• 学習された生成順序は手動で指定されたものではなく、訓練から自然に出現するものであり、タスク固有でデータ駆動の戦略を発見できる能力を示している。