[論文レビュー] Predicting Target Language CCG Supertags Improves Neural Machine Translation

Maria Nădejde, Siva Reddy+5 more|arXiv (Cornell University)|Feb 3, 2017

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）モデルのデコーダーにおいて、ターゲット言語の構文を明示的にモデル化するために、CCGスーパータグをターゲット語と入れ替えて配置することを提案する。語と構文を密接に結合することで、ドイツ語→英語では0.9 BLEU、ルーマニア語→英語では1.2 BLEUの翻訳品質向上を達成し、マルチタスク学習を上回り、前置詞句の構造的配置のような複雑な構文的現象に対しても一貫した向上効果を示した。

ABSTRACT

Neural machine translation (NMT) models are able to partially learn syntactic information from sequential lexical information. Still, some complex syntactic phenomena such as prepositional phrase attachment are poorly modeled. This work aims to answer two questions: 1) Does explicitly modeling target language syntax help NMT? 2) Is tight integration of words and syntax better than multitask training? We introduce syntactic information in the form of CCG supertags in the decoder, by interleaving the target supertags with the word sequence. Our results on WMT data show that explicitly modeling target-syntax improves machine translation quality for German->English, a high-resource pair, and for Romanian->English, a low-resource pair and also several syntactic phenomena including prepositional phrase attachment. Furthermore, a tight coupling of words and syntax improves translation quality more than multitask training. By combining target-syntax with adding source-side dependency labels in the embedding layer, we obtain a total improvement of 0.9 BLEU for German->English and 1.2 BLEU for Romanian->English.

研究の動機と目的

• ターゲット言語の構文を明示的にモデル化することで、ニューラル機械翻訳の品質が向上するかを調査すること。
• 語と構文を、スーパータグの入れ替えによって密結合する手法と、マルチタスク学習による緩い結合を比較すること。
• NMTにおけるソース側とターゲット側の構文特徴の相乗効果を評価すること。
• ターゲット構文の影響が、多様な構文的現象や文の長さに与える影響を分析すること。
• CCGスーパータグがNMTモデルによって効果的に予測可能であることを示し、エンドツーエンドの構文意識翻訳を実現すること。

提案手法

• サブカテゴリゼーション、アタッチメント、屈折形をエンコードするCCGスーパータグを、シーケンス内での語と入れ替えて配置することで、デコーダーに統合する。
• 語とそれに対応するCCGスーパータグを、密接に結合された形で同時に予測する、シーケンス・ツー・シーケンスのNMTモデルを学習する。
• エンコーダーとデコーダーを共有するが、語翻訳とスーパータグ予測を別々に学習するマルチタスクベースラインを実装する。
• SennrichとHaddow（2016）のソース側言語的特徴フレームワーク（従属構造ラベルと品詞タグ）を、埋め込み層に統合する。
• CCGBankを用いてCCGスーパータグのアノテーションを行い、モデルの構文理解能力を検証するためのスーパータグ予測精度を評価する。
• ドイツ語→英語およびルーマニア語→英語のWMTデータセットを用いて性能を評価し、BLEUスコアを測定するとともに、文の長さや構文的現象ごとの向上具合を分析する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット言語の構文を明示的にモデル化することで、ニューラル機械翻訳の品質が向上するか？
• RQ2 スーパータグの入れ替えによる語と構文の密結合が、マルチタスク学習による緩い結合よりも効果的か？
• RQ3 ターゲット構文の統合は、低リソース言語対と高リソース言語対の両方で翻訳品質にどのように影響するか？
• RQ4 ソース側とターゲット側の構文特徴は、NMTにおいてどの程度相乗効果をもたらすか？
• RQ5 ターゲット構文の統合により、前置詞句の構造的配置や節の埋め込みといった特定の構文的現象の翻訳性能が向上するか？

主な発見

• デコーダー内でターゲット語とCCGスーパータグを交互に配置することで、ドイツ語→英語で0.9 BLEU、ルーマニア語→英語で1.2 BLEUのBLEU向上を達成し、ベースラインNMTおよびマルチタスク学習を上回った。
• スーパータグの入れ替えによる語と構文の密結合は、マルチタスク学習による緩い結合よりも高い向上効果を示した。
• ターゲット構文とソース側の依存構造ラベルを組み合わせることで、両者の信号を別々に用いるよりも翻訳品質が向上し、相乗効果が確認された。
• 特に長文（35語以上）において、特に従属節や並列節を含む構造が複雑な文で、向上効果が顕著に現れた。
• CCGスーパータグ予測精度は、ドイツ語→英語で95.6%、ルーマニア語→英語で93.2%と高く、信頼性の高い構文信号の学習が可能であることを示した。
• 詳細な分析により、前置詞句の構造的配置やその他の構文的現象において一貫した向上が確認され、特に長く構造が複雑な文で顕著な改善が得られた。