[論文レビュー] A Correlational Encoder Decoder Architecture for Pivot Based Sequence Generation

Amrita Saha, Mitesh M. Khapra+3 more|arXiv (Cornell University)|Jun 15, 2016

Algorithms and Data Compression参考文献 32被引用数 7

ひとこと要約

本稿では、直接的なX-Y並列データが存在しない状況下でも、翻訳言語Yにおけるシーケンス生成を可能にする、相関に基づくエンコーダ・デコーダアーキテクチャを提案する。このモデルは、ソース言語Xとピボット言語Zの間で共有表現を共同で学習し、XとZのエンコーディング間の相関を最大化することで、Yのデコーダーを統合的に訓練する。このアプローチにより、ブリッジ表記法のタスクでは二段階ベースラインを上回り、ブリッジキャプションにおいても競争力のある結果を達成した。これは、インターリンガ語にインspiredされた多言語生成へのスケーラブルな道筋を示している。

ABSTRACT

Interlingua based Machine Translation (MT) aims to encode multiple languages into a common linguistic representation and then decode sentences in multiple target languages from this representation. In this work we explore this idea in the context of neural encoder decoder architectures, albeit on a smaller scale and without MT as the end goal. Specifically, we consider the case of three languages or modalities X, Z and Y wherein we are interested in generating sequences in Y starting from information available in X. However, there is no parallel training data available between X and Y but, training data is available between X & Z and Z & Y (as is often the case in many real world applications). Z thus acts as a pivot/bridge. An obvious solution, which is perhaps less elegant but works very well in practice is to train a two stage model which first converts from X to Z and then from Z to Y. Instead we explore an interlingua inspired solution which jointly learns to do the following (i) encode X and Z to a common representation and (ii) decode Y from this common representation. We evaluate our model on two tasks: (i) bridge transliteration and (ii) bridge captioning. We report promising results in both these applications and believe that this is a right step towards truly interlingua inspired encoder decoder architectures.

研究の動機と目的

• 直接的なX-Y並列データが存在しない状況下で、ソース言語Xからターゲット言語Yへのシーケンス生成の課題に対処すること。
• Xとピボット言語Zの間で共有された潜在表現を用いたインターリンガ語にインspiredしたアプローチを検討し、エンコーディングとデコーディングを共同で行えるようにすること。
• X-ZおよびZ-Y並列データのみが利用可能な状況下で、ブリッジ表記法とブリッジキャプションという2つの新規タスクを評価すること。
• パフォーマンスと一般化性能の観点から、提案された共同学習モデルを強力な二段階ベースラインと比較すること。

提案手法

• モデルは、ソース（X）およびピボット（Z）の入力を共通の潜在表現にマップする共有エンコーダを採用し、その出力のエンコーディング間の相関を最大化する。
• 別個のデコーダーを用いて、共有表現から言語Yのターゲットシーケンスを生成し、クロスアテンション機構を活用する。
• 標準的なシーケンス生成損失（例：交差エントロピー）に加え、XとZのエンコーディングが高頻度で相関するよう促す相関損失を組み合わせた学習目的を採用する。
• X-Y並列例を必要とせず、X-Z並列データおよびZ-Y並列データの2つのデータセット上で、モデルを共同で訓練する。
• ハイパーパramータは、画像キャプションに関する先行実験に基づいて初期化され、検証セット上で相関損失のみを微調整する。
• ブリッジ表記法およびブリッジキャプションの両タスクで、モデルのアーキテクチャを評価し、二段階ベースラインとの定性的および定量的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 X-Y並列データが存在しない状況下で、神経ネットワークモデルがソース言語Xとピボット言語Zの間で共有表現を共同で学習し、ターゲット言語Yへの生成を可能にできるか？
• RQ2 ピボットベースのシーケンス生成において、共同相関モデルのパフォーマンスは二段階ベースラインと比べてどの程度優れているか？
• RQ3 共有表現が、表記法や画像キャプションのようなタスクにおけるクロスリンガルおよびマルチモーダル相関をどの程度捉えることができるか？
• RQ4 限られた並列データのもとで、画像から多言語キャプションを生成するような複雑な現実世界のシナリオにも、モデルは一般化可能か？

主な発見

• 提案された相関型エンコーダ・デコーダモデルは、ブリッジキャプションタスクで競争力のあるパフォーマンスを達成し、ピボットとしての英語キャプションのみを用いて、画像から関連性のあるフランス語キャプションを生成した。
• ブリッジ表記法のタスクでは、強力な二段階ベースラインを複数の言語ペアで上回り、共同表現学習の有効性を示した。
• フランス語データの微調整が一切行われていないにもかかわらず、二段階ベースラインとほぼ同等のパフォーマンスを示しており、モデルの一般化能力の高さが裏付けられた。
• 定性的な結果から、モデルが画像と英語文の間の相関を適切に捉え、共有表現から一貫性のあるフランス語キャプションを生成できていることが確認された。
• アブレーションスタディにより、相関損失がXとZの表現間の整合性を高め、下流タスクの生成品質を向上させることの有効性が裏付けられた。
• 結果から、低リソースな多言語およびマルチモーダル生成において、マルチステージパイプラインの代替手段として、共有表現の共同学習が実用的でスケーラブルであることが示唆された。