[論文レビュー] Improving Sequence-to-Sequence Learning via Optimal Transport

Li‐Qun Chen, Yizhe Zhang+8 more|arXiv (Cornell University)|Jan 18, 2019

Topic Modeling参考文献 69被引用数 23

ひとこと要約

本稿では、最適輸送（OT）に基づくシーケンスレベルの監視を用いて、標準的な最大尤度推定（MLE）を置き換えたり補完したりする、新しいシーケンス・ツー・シーケンス学習フレームワークを提案する。生成されたシーケンスと参照シーケンス間のワサーライン距離を最小化することで、意味的整合性が向上し、露出バイアスが軽減され、機械翻訳、要約抽出、画像キャプション生成の各タスクで一貫した性能向上が得られる。

ABSTRACT

Sequence-to-sequence models are commonly trained via maximum likelihood estimation (MLE). However, standard MLE training considers a word-level objective, predicting the next word given the previous ground-truth partial sentence. This procedure focuses on modeling local syntactic patterns, and may fail to capture long-range semantic structure. We present a novel solution to alleviate these issues. Our approach imposes global sequence-level guidance via new supervision based on optimal transport, enabling the overall characterization and preservation of semantic features. We further show that this method can be understood as a Wasserstein gradient flow trying to match our model to the ground truth sequence distribution. Extensive experiments are conducted to validate the utility of the proposed approach, showing consistent improvements over a wide variety of NLP tasks, including machine translation, abstractive text summarization, and image captioning.

研究の動機と目的

• BLEU や ROUGE などのシーケンスレベルの評価指標と、単語レベルの MLE 学習との間の不一致を是正すること。
• 自己回帰的生成における露出バイアスを克服するために、グローバルなシーケンスレベルの監視を導入すること。
• 強化学習や敵対的訓練の不安定性を回避する、安定的で微分可能なシーケンスレベル損失を構築すること。
• OT を用いて入力シーケンスと参照シーケンスの両者と整合させるように、生成シーケンスの意味的保持と構造的整合性を向上させること。
• 翻訳、要約、画像キャプション生成を含む多様なシーケンス・ツー・シーケンスタスクにわたる、OTに基づく正則化の一般化可能性を実証すること。

提案手法

• 生成シーケンスと参照シーケンス間のワサーライン距離を計算する最適輸送（OT）に基づくシーケンスレベル損失を導入し、意味的類似性を促進する。
• 交差エントロピーとOTに基づく正則化項を組み合わせた正則化されたMLE損失として学習目的を定式化し、モデルがより良い意味的整合性を達成するように誘導する。
• 生成シーケンスと入力シーケンス間のOT距離を同時に計算することで、生成過程でソース情報を適切に活用できるように監視を拡張する。
• モデルの出力分布と真のデータ分布との距離を最小化する近似ワサーライン勾配フローとして学習プロセスを解釈する。
• エントロピー正則化によるOT距離の微分可能な近似を用いて、ニューラルネットワークにおけるエンド・ツー・エンドのバックプロパゲーションを可能にする。
• アーキテクチャの大幅な見直しを要せず、GRUベースのSeq2SeqやTransformerに類似したモデルなど、さまざまなアーキテクチャとタスクに適用可能であり、広範な適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 最適輸送は、シーケンス・ツー・シーケンスモデルに対して、単語レベルのMLEよりも効果的なシーケンスレベルの監視を提供できるか？
• RQ2 OTに基づく正則化は、自己回帰的生成における露出バイアスを軽減し、一般化性能を向上させるか？
• RQ3 訓練の安定性と性能の観点から、強化学習や敵対的訓練と比較して、本手法はどのように差をつけるか？
• RQ4 OT損失は、翻訳、要約、画像キャプション生成といった多様なNLPタスクにおいて、意味的正確性と構造的整合性を向上させるか？
• RQ5 結合損失における重み係数 γ に対して、OTベースの手法は頑健であるか、特にハイパーパrameterの選択に敏感か？

主な発見

• OTを組み込んだモデルは、全評価タスクでMLEベースラインを上回る一貫した向上を達成し、WMT'14 英語→ドイツ語翻訳セットではBLEUスコアが最大2.4ポイント向上した。
• Gigaword要約データセットでは、ROUGE-Lスコアが34.0を達成し、ベースラインSeq2Seqを1.6ポイント上回り、より複雑なモデルが報告した36.92という最先端の結果を、より単純なアーキテクチャで上回った。
• DUC-2004要約セットでは、ROUGE-Lを24.8から26.0に向上させ、より小規模で挑戦的であるにもかかわらず、強力な性能を示した。
• COCO画像キャプションデータセットでは、BLEU-4が81.5から83.2に、CIDErが120.1から124.3に向上し、単一の指標に過剰に適合することなく、複数の指標で一貫した向上を示した。
• ハイパーパrameter γ に対しても本手法は頑健であり、γ ∈ (0,1] の範囲でテストBLEUスコアが常にベースラインを上回り、安定した性能を示した。
• 定性的な分析では、vanilla MLEモデルと比較して、翻訳や要約の文脈で、重要な意味的用語をよりよく保持し、誤解を避けられることが明らかになった。