[論文レビュー] Multi-Task Neural Models for Translating Between Styles Within and Across Languages

Xing Niu, Sudha Rao+1 more|arXiv (Cornell University)|Jun 12, 2018

Natural Language Processing Techniques参考文献 36被引用数 52

ひとこと要約

この論文は、単言語形式性転送を双方向に実行する統一されたマルチタスク型ニューラル機械翻訳モデルと、フランス語から英語への形式性を考慮した翻訳を提案し、形式性転送の最新結果を達成し、スタイル注釈付き翻訳データなしで形式性感知MTに競争力のある結果を示す。

ABSTRACT

Generating natural language requires conveying content in an appropriate style. We explore two related tasks on generating text of varying formality: monolingual formality transfer and formality-sensitive machine translation. We propose to solve these tasks jointly using multi-task learning, and show that our models achieve state-of-the-art performance for formality transfer and are able to perform formality-sensitive translation without being explicitly trained on style-annotated translation examples.

研究の動機と目的

• テキスト生成における形式性をコアなスタイル次元として動機づけ、取り組む。
• 英語における双方向の形式性転送を実行できる単一のニューラルMTモデルを開発する。
• 側条件を用いたフランス語－英語の形式性感知翻訳（FSMT）を実現する。
• joint multi-task 学習が単言語のスタイル並列データと二言語データの両方を活用してFTとFSMTを改善することを示す。
• 自動BLEUと人間評価を用いて、形式性制御、流暢さ、意味の保持を評価する。

提案手法

• 共有エンコーダ/デコーダを用いた注意機構付き seq2seq NMT アーキテクチャを使用する。
• 英語の形式性転送を双方向で行うために、双方向データを結合し、ソース文の先頭にターゲット形式性タグ(<F> または <I>) を付与する。
• 側条件付きの形式性感知翻訳を実現するため、バイリンガルのフランス語-英語データに形式的または非形式的なターゲットスタイルをタグ付けし、形式性を近似するためにクロスエントロピー差（CED）を用いて選択する。
• FTとFSMTの両方で共同学習を行うマルチタスク学習設定を複数の構成（MultiTask-tag-style、MultiTask-style、MultiTask-random）で訓練する。
• 前処理には正規化、トークン化、真ケース化、 joint BPE（32k）、結合埋め込みを含み、モデルの詳細にはSockeyeベースの注意型エンコーダ-デコーダ、エンコーダ512、注意機構512、ドロップアウト、Adam最適化、アンサンブルデコードを含む。

実験結果

リサーチクエスチョン

• RQ1 単一のモデルで形式性転送を双方向で効果的に実現できるか？
• RQ2 モノリンガルFTデータをどのようにバイリンガルFSMTデータと組み合わせるべきか、性能を最大化するためには？
• RQ3 共同FTとFSMT学習にとって、どのような種類のバイリンガルデータ（およびタグ付け戦略）が最も有益か？
• RQ4 マルチタスク学習を通じて、明示的なスタイル注釈付き翻訳データなしでFSMTを学習できるか？

主な発見

モデル	E&M I→F BLEU	F&R I→F BLEU	E&M F→I BLEU	F&R F→I BLEU
PBMT [Rao & Tetreault 2018]	68.22	72.94	33.54	32.64
NMT Baseline [Rao & Tetreault 2018]	58.80	68.28	30.57	36.71
NMT Combined [Rao & Tetreault 2018]	68.41	74.22	33.56	35.03
NMT Baseline	65.34	71.28	32.36	36.23
Bi-directional FT	66.30	71.97	34.00	36.33
+ training on E&M + F&R	69.20	73.52	35.44	37.72
+ ensemble decoding (×4)	71.36	74.49	36.18	38.34
+ multi-task learning (MultiTask-tag-style)	72.13	75.37	38.04	39.09

• 多タスク学習を用いた双方向形式性転送は、FTにおいて最先端のBLEUを達成（転送方向の2つで72.13と75.37、拡張とアンサンブル込み）。
• FSMTでは、マルチタスク学習を用いたニューラルモデルが競争力のある性能を示し、いくつかのベースラインよりも形式性制御が優れている。例として、MultiTask-randomは FR→Formal-ENと FR→Informal-EN でそれぞれ 25.24 BLEU、25.14 BLEU を達成し、複数の非ニューラルベースラインを人間評価で上回る。
• 人間評価は、Formal→Informal への転送時に MultiTask-tag-style がかなり informal な出力を生み、Informal→Formal への転送時にはやや formal な出力を生み、意味保持は強力なベースラインと同等であることを示す。
• 結合モデルは明示的なスタイル注釈付き翻訳データなしでFSMTを学習でき、マルチタスク学習は従来の単一タスク手法を超えるFTの改善を示す。
• バイリンガルデータの量とデータ選択（CEDベースのタグ付け）はFTに好影響を与え、利益が飽和点の後に頭打ちする一方、翻訳品質はデータが増えると引き続き向上する。