[論文レビュー] Dynamic Layer Aggregation for Neural Machine Translation with Routing-by-Agreement

Zi-Yi Dou, Zhaopeng Tu+4 more|arXiv (Cornell University)|Feb 15, 2019

Topic Modeling参考文献 34被引用数 15

ひとこと要約

本稿では、キャプセルネットワークにインspiredされたルーティング・バイ・アポイントメントを用いて、文脈的合意に基づき、Transformer層間の表現を動的に統合する動的レイヤー集約を提案する。この手法は、静的集約法や元のTransformerを上回り、パラメータ効率の良いモデルがWMT14 En→DeおよびWMT17 Zh→EnでTransformer-Bigを上回る性能を達成する。

ABSTRACT

With the promising progress of deep neural networks, layer aggregation has been used to fuse information across layers in various fields, such as computer vision and machine translation. However, most of the previous methods combine layers in a static fashion in that their aggregation strategy is independent of specific hidden states. Inspired by recent progress on capsule networks, in this paper we propose to use routing-by-agreement strategies to aggregate layers dynamically. Specifically, the algorithm learns the probability of a part (individual layer representations) assigned to a whole (aggregated representations) in an iterative way and combines parts accordingly. We implement our algorithm on top of the state-of-the-art neural machine translation model TRANSFORMER and conduct experiments on the widely-used WMT14 English-German and WMT17 Chinese-English translation datasets. Experimental results across language pairs show that the proposed approach consistently outperforms the strong baseline model and a representative static aggregation model.

研究の動機と目的

• 固定された統合戦略が文脈依存の特徴の重要性を無視する、ニューラル機械翻訳における静的レイヤー集約の限界を是正すること。
• 深層レイヤー表現の動的で文脈に依存する集約が、トップレイヤーのみまたは固定重みによる統合を上回る翻訳性能を実現できるかを検討すること。
• 特にNMTにおける系列モデリングに、キャプセルネットワークの原則（特にルーティング・バイ・アポイントメント）を適用できるかを調査すること。
• 反復的ルーティング機構が、静的手法に比べて、複数のレイヤー表現間で共有される活性特徴をより効果的に抽出できるかを評価すること。
• 動的集約が、多様な言語対および系列長にわたり一貫した性能向上をもたらすかを実証すること。

提案手法

• 文脈に応じた重みを学習するためのフィードフォワードネットワークを用いて、位置固有の集約重みを学習する動的結合メカニズムを提案する。
• キャプセルネットワークの反復的ルーティング・バイ・アポイントメント手法をNMTに適応し、各レイヤーの各隠れ状態を「キャプセル」とみなし、共通表現に投票させる。
• 入力レイヤー表現と出力集約表現間の合意を推定するために、期待値最大化（EM）に基づくルーティングアルゴリズムを採用し、反復的にルーティング重みを最適化する。
• 内部ニューロン間の合意に基づくアテンションに類似した重みを計算するルーティングプロセスを導入し、高次元の一致をフィルタリングして顕著な特徴を抽出する。
• エンコーダーとデコーダースタックの両方にルーティング機構を独立して適用し、各レイヤーでの表現の動的統合を可能にする。
• ルーティングのダイナミクスを可視化し、特徴がどのようにレイヤー間で選択され共有されるかを分析し、多様性の向上と活性特徴の抽出が図られていることを確認する。

実験結果

リサーチクエスチョン

• RQ1 動的で文脈依存のレイヤー集約は、静的集約手法を上回る神経機械翻訳性能を実現できるか？
• RQ2 ルーティング・バイ・アポイントメント機構は、NMTにおける複数のレイヤー表現間で共有され、活性化された特徴を効果的に同定・統合できるか？
• RQ3 キャプセルネットワークにインspiredされたルーティングは、NMTにおける系列モデリングに成功裏に適用可能であり、性能向上をもたらすか？
• RQ4 動的集約は、入力系列長の変動に応じて性能にどのように影響を与えるか？
• RQ5 動的集約を備えた小さなモデルが、翻訳品質においてより大きなベースラインモデルを上回れるか？

主な発見

• 提案された動的レイヤー集約手法は、WMT14 En→DeおよびWMT17 Zh→Enの両翻訳タスクにおいて、常にBLEUスコアを向上させ、元のTransformerおよび静的集約ベースラインを上回る。
• 動的集約を適用したTransformer-Baseは、WMT14 En→Deで26.62 BLEUを達成し、パラメータが半分未満のにもかかわらず、元のTransformer-Bigを上回る。
• エンコーダーとデコーダーの両方にルーティングを適用した場合が最良の性能（26.62 BLEU）を示し、それぞれのコンponentに個別に適用しても、ベースラインを上回る。
• 系列長の分析から、動的モデルは全入力長セグメントで一貫した向上を示し、系列長の変動に対して頑健であることが判明した。
• 可視化により、反復に伴い特徴の多様性が向上している（多様性スコア：0.0 → 0.09 → 0.18）ことが確認され、活性で共有される特徴の効果的な選択が行われていることが示された。
• EMベースのルーティングバージョンが最高の性能を達成し、反復的合意推定が動的統合において有効であることを示した。