[論文レビュー] Recurrent Graph Syntax Encoder for Neural Machine Translation

Liang Ding, Dacheng Tao|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 42被引用数 8

ひとこと要約

本稿では、RNNユニットをグラフノードとして扱い、文法的依存関係をエッジとして扱うことで、構文的依存関係と順序的語順を統合する新しいグラフ構造エンコーダー、再帰的グラフ構文エンコーダー（RGSE）を提案する。RGSEは、再帰的およびTransformerベースのNMTモデルを向上させ、長文のモデリングと意味の保存性を向上させることで、WMT14 En-DeおよびEn-Cs翻訳タスクで最先端の性能を達成する。

ABSTRACT

Syntax-incorporated machine translation models have been proven successful in improving the model's reasoning and meaning preservation ability. In this paper, we propose a simple yet effective graph-structured encoder, the Recurrent Graph Syntax Encoder, dubbed extbf{RGSE}, which enhances the ability to capture useful syntactic information. The RGSE is done over a standard encoder (recurrent or self-attention encoder), regarding recurrent network units as graph nodes and injects syntactic dependencies as edges, such that RGSE models syntactic dependencies and sequential information ( extit{i.e.}, word order) simultaneously. Our approach achieves considerable improvements over several syntax-aware NMT models in English$\Rightarrow$German and English$\Rightarrow$Czech translation tasks. And RGSE-equipped big model obtains competitive result compared with the state-of-the-art model in WMT14 En-De task. Extensive analysis further verifies that RGSE could benefit long sentence modeling, and produces better translations.

研究の動機と目的

• 既存の構文に配慮したNMTモデルが、構文的依存関係と順序的語順の両方を同時に捉えることの限界を解消すること。
• 柔軟でモジュラーなグラフベースのアーキテクチャを用いて、明示的な構文的インダクティブバイアスをNMTモデルに統合すること。
• 再帰的依存関係をグラフ構造エンコーダー内で活用することで、長文翻訳の性能を向上させること。
• 特に依存関係モデリングが弱い低層部において、構文情報を効果的に統合すること。
• アーキテクチャの大規模な見直しを伴わずに、再帰的および自己注意型エンコーダーの両方を強化できる、即挿し可能なコンponentsを開発すること。

提案手法

• RGSEは、標準エンコーダー内の各RNNセルをグラフノードとみなす。文法的依存関係は、依存解析器から得られたもので、ノード間の有向エッジを形成する。
• RGSEの各ノードは、親ノード（文法的従属語）の隠れ状態と自身の直前の隠れ状態を統合し、構文と順序の両方を同時にモデリングする。
• 訓練の安定化と収束の加速を図るため、ゲート付き残差接続を用いる。特に深層構造において顕著な効果を示す。
• Transformerモデルでは、低層部の自己注意メカニズムをRGSEに置き換える。これにより、構文的インダクティブバイアスを維持しつつ、高層部での注意容量を保つ。
• エッジ単位での統合により、注意デコーダーが構文的に関連するソース語に選択的に注目できるようになり、語の予測と意味の保存性が向上する。
• 単方向および双方向の依存関係統合をサポート。アブレーションスタディにより、主語-動詞-目的語言語では、将来の依存関係がより情報をもたらすことが示された。

実験結果

リサーチクエスチョン

• RQ1 再帰的ユニットと構文的依存関係を統合するグラフ構造エンコーダーは、標準の構文に配慮したモデルを上回るNMT性能を達成できるか？
• RQ2 Transformerエンコーダーの低層部に構文的依存関係を統合することで、より優れた構文的表現と翻訳品質が得られるか？
• RQ3 将来の依存関係と過去の依存関係の両方を用いる場合、翻訳性能にどのような影響を与えるか。特に長文において。
• RQ4 ベースラインモデルと比較して、RGSEは長文翻訳の性能をどの程度向上させるか？
• RQ5 RGSEは、再帰的および自己注意型NMTアーキテクチャの両方に対して効果的に適用可能か？

主な発見

• RGSEを搭載したTransformer-baseモデルは、WMT14 En-Deで28.62 BLEUを達成し、ベースラインのTransformer（27.65）および他の構文に配慮したモデルを上回った。
• RGSEを搭載したTransformer-bigモデルは29.47 BLEUに達し、WMT14 En-DeにおけるSOTAモデルを上回り、競争力のある性能を示した。
• 長文（長さ＞50）において、RGSEベースのモデルは顕著なBLEU向上を示し、より優れた長距離依存関係モデリングを裏付けた。
• 将来の依存関係統合が過去の依存関係統合よりも優れた結果をもたらした。これは、デコーダー予測におけるより良い長距離計画性に起因すると考えられる。
• 双方向エッジ統合により、単方向設定よりもさらなる性能向上が得られ、特に複雑な構文的構造において顕著だった。
• アブレーションスタディにより、RGSEのエッジ単位統合とゲート付き残差接続が、収束の高速化と一般化性能の向上に寄与することが確認された。