[論文レビュー] Improving Conditioning in Context-Aware Sequence to Sequence Models

Xinyi Wang, Jason Weston+2 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 24被引用数 9

ひとこと要約

本論文は、デコード中にソースとコンテキストの注意を交互に切り替えながら、両方の入力をより効果的に条件づける新しいシーケンス・トゥ・シーケンスモデルのアーキテクチャを提案する。同時に、訓練を強化するためのデータ拡張手法も導入している。この手法により、ドキュメントレベルの機械翻訳、長文質問応答、知識に基づく対話の3つのコンテキストに依存するタスクにおいて一貫した性能向上が達成された。両方の入力モodalの有効活用が可能となり、高いコンテキスト使用率と低いバックワードパープレキシティが実証された。

ABSTRACT

Neural sequence to sequence models are well established for applications which can be cast as mapping a single input sequence into a single output sequence. In this work, we focus on cases where generation is conditioned on both a short query and a long context, such as abstractive question answering or document-level translation. We modify the standard sequence-to-sequence approach to make better use of both the query and the context by expanding the conditioning mechanism to intertwine query and context attention. We also introduce a simple and efficient data augmentation method for the proposed model. Experiments on three different tasks show that both changes lead to consistent improvements.

研究の動機と目的

• 短いソースクエリと長いコンテキストドキュメントの両方に条件づけられた効果的なシーケンス・トゥ・シーケンス生成を実現する課題に対処すること。
• 抽象的質問応答、ドキュメントレベルの機械翻訳、知識に基づく対話などのコンテキストに依存するタスクにおけるモデル性能を向上させること。
• デコード中に、ソースとコンテキストの両方のシーケンスからの情報をより効果的に統合・活用できるモデルアーキテクチャを設計すること。
• モデルのアーキテクチャを活用して、一般化性能と訓練効率を向上させるデータ拡張戦略を開発すること。

提案手法

• モデルは、ソースとコンテキストの両方のための別々のエンコーダーを用い、両者の間でクロスアテンションを禁止することで、モダリティの分離を強制する。
• デコード段階では、インタリーブド・アテンション機構により、ソースとコンテキストの間を交互に注目することで、両入力間の動的相互作用を可能にする。
• コンテキストエンコーダーにソフトローカライズド・アテンション・ウィンドウを適用し、長距離依存性を制限することで、正則化のインダクティブ・バイアスとして機能する。
• コンテキストとソースのシーケンスを入れ替えたり再順序付けたりすることで、合成された訓練例を生成するデータ拡張技術を導入し、モデルのロバストネスと一般化性能を向上させる。
• 標準的なクロスエントロピー損失を用いてエンド・ツー・エンドでモデルを訓練し、評価にはバックワードパープレキシティやコンテキスト使用率のパcentageなどの指標を用いる。
• アーキテクチャは、ドキュメントレベルのNMT、長文QA、知識に基づく対話の3つのタスクにおいて、標準ベンチマークを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 短いソースクエリと長いコンテキストドキュメントの両方に条件づけられたシーケンス・トゥ・シーケンスモデルを、どのように改善できるか？
• RQ2 デコード中に、ソースとコンテキストの情報統合をより効果的に行うために、どのようなアーキテクチャ的変更が必要か？
• RQ3 ソースとコンテキストの間でインタリーブド・アテンションを用いる場合、順次的または連結的アテンション機構と比較して、性能とコンテキスト使用率の観点でどのような差が生じるか？
• RQ4 提案されたデータ拡張戦略が、多様なコンテキストに依存するタスクにおいて、モデルの一般化性能とロバストネスをどの程度向上させるか？
• RQ5 ローカライズド・アテンションやクロスアテンションなしといったアーキテクチャ的制約が、モデル性能とアテンションパターンに与える影響は何か？

主な発見

• 提案されたインタリーブド・アテンション・モデルは、3つのタスクすべてにおいて、順次的ベースラインおよびマルチタスクベースラインを上回り、低いバックワードパープレキシティと高いコンテキスト使用率を達成した。
• ELI5データセットでは、モデルはコンテキスト使用率（U_ctx）が82.3%を記録し、順次的ベースライン（69.1%）およびマルチタスクベースライン（74.5%）を顕著に上回った。
• ELI5データセットにおいて、順次的ベースラインと比較して、モデルはコンテキスト使用率で12.2%の絶対的向上を示し、関連するコンテキスト情報の有効活用が図られていることを示した。
• 定性的な分析から、モデルはよりなめらかでコンテキストに根ざした応答を生成することが確認された。例えば、文書レベル翻訳において文脈的ヒントを用いて「là」を「then」と正しく解釈する事例も観察された。
• アテンション解析から、ローカライズド・アテンションやクロスアテンションなしといったアーキテクチャ的制約が、有益なインダクティブ・バイアスとして機能していることが判明した。長距離依存性への依存度が低下しても性能に悪影響を及げず、むしろ安定性が向上した。
• データ拡張手法により、特にリソースが限られた環境下でもモデルの一般化性能が向上した。訓練中に多様なソース-コンテキストの順列をモデルに露出させたことで、その効果が得られた。