[論文レビュー] Neural Machine Translation with Dynamic Graph Convolutional Decoder

Lei Li, Kai Fan+3 more|arXiv (Cornell University)|May 28, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、自己回帰的にターゲット翻訳とその構文的依存関係グラフを同時に生成する、エンドツーエンドのニューラル機械翻訳フレームワーク、Dyn-STGCDを提案する。デコーディング中にカスタム化されたグラフ畳み込みデコーダーを用いて動的にターゲット構文グラフを構築することで、複数のベンチマークで翻訳性能が向上し、WMT 2014 En-DeおよびEn-FrタスクでそれぞれBLEUスコア28.1および41.8を達成し、最先端の結果をもたらした。

ABSTRACT

Existing wisdom demonstrates the significance of syntactic knowledge for the improvement of neural machine translation models. However, most previous works merely focus on leveraging the source syntax in the well-known encoder-decoder framework. In sharp contrast, this paper proposes an end-to-end translation architecture from the (graph \& sequence) structural inputs to the (graph \& sequence) outputs, where the target translation and its corresponding syntactic graph are jointly modeled and generated. We propose a customized Dynamic Spatial-Temporal Graph Convolutional Decoder (Dyn-STGCD), which is designed for consuming source feature representations and their syntactic graph, and auto-regressively generating the target syntactic graph and tokens simultaneously. We conduct extensive experiments on five widely acknowledged translation benchmarks, verifying that our proposal achieves consistent improvements over baselines and other syntax-aware variants.

研究の動機と目的

• ニューラル機械翻訳におけるターゲット側の明示的な構文構造のモデリングのギャップを埋めるため。
• 自己回帰的生成中にデコーダーがターゲット側の構文グラフを動的に構築・利用できるようにするため。
• ターゲットトークンとその構文的依存関係を同時にモデリングすることで翻訳品質を向上させるため。
• 明示的なターゲット側構文モデリングが、ソース側構文のみを用いる場合を上回る翻訳性能をもたらすことを示すため。
• 他のシーケンスからグラフへのタスクに応用可能な汎用的なグラフからグラフへの生成フレームワークを提供するため。

提案手法

• ソーストークン表現とその構文的グラフの両方を処理する動的空間的・時間的グラフ畳み込みデコーダー（Dyn-STGCD）を提案する。
• 各デコーディングステップで新しいノード（予測されたトークン）とエッジを段階的に追加する、動的なグラフ構築メカニズムを導入する。
• 空間的・時間的GCN層を用いて、ターゲットグラフ内の局所的近傍情報と順序依存性を同時にモデル化する。
• 変換器ベースのエンコーダーを用いて、元の文とその構文的グラフから文脈的表現を抽出する。
• ターゲットトークン予測と構文的グラフ構造の両方を同時に最適化するための連合生成目的関数を設計する。
• 予測された構文的構造の一貫性を評価するため、別個のパーサーを用いて仮の正解グラフを生成する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット側の構文構造を明示的にモデリングすることで、ニューラル機械翻訳の性能が向上するか？
• RQ2 グラフ畳み込み層を用いて、自己回帰的デコーディング中に構文グラフを動的に構築することは可能か？
• RQ3 ターゲットトークンとその構文的依存関係を同時に生成するアプローチは、ソース側構文のみを用いるモデルと比べてどのように異なるか？
• RQ4 予測された構文グラフは、外部のパーサーによるゴールドスタンダード解析とどの程度一致するか？
• RQ5 提案されたDyn-STGCDフレームワークは、翻訳を越えて他のシーケンスからグラフへの生成タスクへ一般化可能か？

主な発見

• WMT 2014 英語-ドイツ語翻訳タスクにおいて、Dyn-STGCDはベースラインのTransformerおよび他の構文に配慮したモデルを上回るBLEUスコア28.1を達成した。
• 英語-フランス語タスクでは、Dyn-STGCDがベースラインのTransformer（BLEU 41.0）および他の構文に配慮した変種を上回り、BLEUスコア41.8を達成した。
• モデルが生成する構文グラフは、別個の依存関係パーサーの出力と高い一貫性を示しており、信頼性の高い構造的予測であることが示された。
• NIST中国語-英語およびWMTベンチマークにおける実験結果から、複数のベースラインおよび構文に配慮したモデルに対して一貫した改善が確認された。
• モデルアンサンブルや複合分割といった一般的な性能向上技術を一切使用せずに、翻訳品質が顕著に向上した。
• 動的なグラフ構築メカニズムにより、デコーダーは生成過程で段階的に構文的情報を適応的に統合でき、より良い文脈モデリングが可能になった。