[論文レビュー] Attention Strategies for Multi-Source Sequence-to-Sequence Learning

Jindřich Libovický, Jindřich Helcl|arXiv (Cornell University)|Apr 21, 2017

Topic Modeling被引用数 1

ひとこと要約

本稿では、マルチソースのシーケンス・トゥ・シーケンスモデル向けに、平坦型と階層型の2つの新しいアテンション結合戦略を提案する。これにより、エンコーダーの重要度を明示的にモデル化できる。これらの手法は、標準的な連結処理に比べて、共同アテンション分布の学習を可能にし、収束が速いため、マルチモーダル翻訳および自動ポストエディティングタスクで競争力ある結果を達成した。

ABSTRACT

Modeling attention in neural multi-source sequence-to-sequence learning remains a relatively unexplored area, despite its usefulness in tasks that incorporate multiple source languages or modalities. We propose two novel approaches to combine the outputs of attention mechanisms over each source sequence, flat and hierarchical. We compare the proposed methods with existing techniques and present results of systematic evaluation of those methods on the WMT16 Multimodal Translation and Automatic Post-editing tasks. We show that the proposed methods achieve competitive results on both tasks.

研究の動機と目的

• マルチソースのシーケンス・トゥ・シーケンスモデルにおいて、複数の入力ソースの重要度の差を明示的にモデル化する手法の欠如に対処すること。
• 異なる入力モダリティまたはシーケンスの果たす役割を反映した解釈可能なアテンション結合戦略を開発すること。
• コンテキストベクトルの標準的連結処理と比較して、複数エンコーダー間で共同アテンション分布の学習がパフォーマンスを向上させるかどうかを評価すること。
• 単純な連結処理では不可能な、デコーダーにおける条件付きGRUユニットとの互換性を実現すること。

提案手法

• すべてのエンコーダー隠れ状態に対して、エネルギー計算に共通のパラメータを使用する共同アテンション重みの計算を実施する平坦型アテンション結合を提案する。
• まず各エンコーダーごとにアテンションを計算し、その後に別個のアテンション機構を用いて得られたコンテキストベクトルを組み合わせる階層型アテンション結合を導入する。
• エンコーダー間でエネルギー計算に共通の投影行列を使用し、隠れ状態変換にはエンコーダー固有の投影行列を用いる。
• デコーダーが自身の状態にアテンションを向けられるように、センチネルゲート機構を適応させ、入力情報が限られた場合のロバストネスを向上させる。
• 条件付きゲーティングとセンチネルベクトルを備えたGRUベースのデコーダーを採用し、モデルの柔軟性を高める。
• これらの戦略を、マルチモーダル翻訳（画像＋キャプション）および自動ポストエディティング（元言語＋MT出力）タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 複数のエンコーダー間で共同アテンション分布の学習が、連結処理と比較してマルチソースのシーケンス・トゥ・シーケンスタスクのパフォーマンスを向上させるか。
• RQ2 階層型アテンション結合は、平坦型アテンションと比較して、エンコーダーの寄与度の解釈性をより高められるか。
• RQ3 提案手法は、標準的な連結処理では不可能な条件付きGRUユニットとの統合が可能か。
• RQ4 提案手法は、マルチモーダル翻訳や自動ポストエディティングといった実世界のタスクで効果的に機能するか。
• RQ5 階層型アテンションは、平坦型や連結アテンションと比較して、より速いモデル収束を達成するか。

主な発見

• 平坦型および階層型アテンション戦略は、WMT16マルチモーダル翻訳および自動ポストエディティングタスクの両方で競争力あるパフォーマンスを達成した。
• 階層型戦略は、他のアテンション結合手法と比較して、より速い学習収束を示した。
• APEタスクでは、最良のモデル（階層型＋共有投影＋センチネル）がHTER 22.0 ± .7を達成し、ベースライン（24.8）を顕著に上回った。
• Multi30kデータセットでは、階層型モデルがBLEUスコア32.1 ± .8を達成し、ベースラインおよび他の設定を上回った。
• 共有投影行列の使用により、特にリソースが限られた環境下でパフォーマンスと一般化性能が向上した。
• センチネルゲート機構により、入力シーケンスに関連する情報が限られる状況でもロバストネスが向上した。