[論文レビュー] Inducing Grammars with and for Neural Machine Translation

Ke Tran, Yonatan Bisk|arXiv (Cornell University)|May 28, 2018

Natural Language Processing Techniques参考文献 32被引用数 3

ひとこと要約

本稿では、外部の構文的アノテーションに依存せずに、生テキストから翻訳と従属木の両方を同時に学習するニューラル機械翻訳モデルを提案する。構造的自己注意エンコーダと学習可能なゲーティング機構を統合することで、翻訳品質を向上させ、特に構文的に豊富なターゲット言語において顕著な効果を示す言語固有の構文的構造を発見する。また、標準的な言語学的形式的体系と一致しないタスク固有の構文的インダクティブバイアスを明らかにした。

ABSTRACT

Machine translation systems require semantic knowledge and grammatical understanding. Neural machine translation (NMT) systems often assume this information is captured by an attention mechanism and a decoder that ensures fluency. Recent work has shown that incorporating explicit syntax alleviates the burden of modeling both types of knowledge. However, requiring parses is expensive and does not explore the question of what syntax a model needs during translation. To address both of these issues we introduce a model that simultaneously translates while inducing dependency trees. In this way, we leverage the benefits of structure while investigating what syntax NMT must induce to maximize performance. We show that our dependency trees are 1. language pair dependent and 2. improve translation quality.

研究の動機と目的

• 翻訳の訓練中に事前にアノテートされた解析に依存せずに、暗黙的に構文的構造を発見するニューラル機械翻訳システムを開発すること。
• 構文の活性化に向けた学習可能なゲーティング機構をモデル化することで、翻訳中に構文的構造がどのように、いつ使われるかを調査すること。
• 誘導された従属木の構造を分析し、それが言語学的形式的体系と一致するか、あるいはタスク固有の構文的ニーズを反映しているかを検証すること。
• 構文を誘導することで翻訳品質が向上するか、およびその向上が言語ペアに依存するかを評価すること。
• ターゲット言語の語彙的豊かさと、誘導された構文的構造の複雑さとの関係を調査すること。

提案手法

• 双方向LSTMエンコーダの隠れ状態に注目することで、生のソース文に対してソフトで非プロジェクティブな従属木を生成する構造的自己注意エンコーダを導入する。
• 翻訳のデコード中に構文的構造をどの程度、いつ使用するかを制御する微分可能なゲーティング機構を用い、構文的注目を動的にオン・オフ可能にする。
• 翻訳品質（BLEU）と従属木の正確性（DA/UAスコア）を最適化する共同目的関数を用いて、注目メカニズムをエンドツーエンドで訓練する。
• 離散的従属決定を逆伝播可能にするための微分可能な緩和（例：Gumbel-SoftmaxやREINFORCE）を用い、誘導された木構造の勾配ベースの訓練を可能にする。
• デコーダは、特に長距離依存（例：主語・動詞一致）において、誘導されたソース側の構文的構造をターゲット側生成に活用する。
• PyTorchベースのOpenNMT実装を用いて、標準的なWMTベンチマークでモデルを訓練し、ハード注目対ソフト注目、共有パラメータ対別々のパラメータのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 NMT訓練中に従属木を誘導することで翻訳性能が向上するか？もしそうなら、その向上幅はどの程度か？
• RQ2 ターゲット言語の選択が、誘導された構文的構造の質と複雑さにどのように影響するか？
• RQ3 誘導された従属木が、Universal Dependenciesのような標準的な言語学的形式的体系とどの程度一致するか？
• RQ4 翻訳のどの文脈でモデルが構文的構造を活性化するか？また、どのような言語現象（例：一致、長距離依存）を優先的に処理するか？
• RQ5 外部の構文的アノテーションにアクセスせずに、モデルが意味のある構文的構造を学習できるか？そのようなシステムのインダクティブバイアスは何か？

主な発見

• 提案モデルは、標準的なWMTベンチマークにおいて強力なベースラインより顕著なBLEUスコアの向上を達成し、特にロシア語やアラビア語のような語彙的に豊富なターゲット言語で顕著な向上を示した。
• 誘導された従属木の品質はターゲット言語に強く依存しており、語彙的に豊富な言語に翻訳する際、より高い有向・無向アタッチメント（DA/UA）スコアが得られた。
• SA-NMT-hardモデルは、EN→DE、DE→EN、RU→ARで最高の有向アタッチメントスコアを達成したが、他のバリアントに比べてBLEUスコアが低く、構文的正確性と翻訳性能の間に乖離が生じていることを示唆した。
• 誘導された構文的構造はUniversal Dependenciesとは異なっていた。ヘッド選択は伝統的な構文的慣習ではなく、翻訳の有用性に基づいて行われており、主語-動詞リンクは従来の依存階層ではなく、述語-項構造を反映していることが多かった。
• モデルのゲーティング機構は、構文が選択的に活性化されることを示しており、特に一致に敏感な構文的構造において顕著であった。これは、構文的構造が一様にではなく、戦略的に使用されていることを示唆している。
• 誘導された木構造は、句構造と従属構造の境界がぼやけており、BiLSTMの隠れ状態が局所的なフレーズを捉えており、モデルがしばしば個々の語ではなくフレーズを単位として扱う傾向があることが明らかになった。