[論文レビュー] Controlling the Output Length of Neural Machine Translation

Surafel M. Lakew, Mattia Di Gangi+1 more|arXiv (Cornell University)|Oct 23, 2019

Natural Language Processing Techniques参考文献 36被引用数 33

ひとこと要約

本論文は、TransformerにおけるNMT出力長を制御する2つの方法を提案する：1) length class tokenを先頭に付与して長さトークンによる条件付け、2) デコーダの位置埋め込みにおける長さエンコーディング。いずれの方法も、出力を元のソースより長くならないようにすることを目指すが、BLEUと長さ精度にはトレードオフがある。

ABSTRACT

The recent advances introduced by neural machine translation (NMT) are rapidly expanding the application fields of machine translation, as well as reshaping the quality level to be targeted. In particular, if translations have to fit some given layout, quality should not only be measured in terms of adequacy and fluency, but also length. Exemplary cases are the translation of document files, subtitles, and scripts for dubbing, where the output length should ideally be as close as possible to the length of the input text. This paper addresses for the first time, to the best of our knowledge, the problem of controlling the output length in NMT. We investigate two methods for biasing the output length with a transformer architecture: i) conditioning the output to a given target-source length-ratio class and ii) enriching the transformer positional embedding with length information. Our experiments show that both methods can induce the network to generate shorter translations, as well as acquiring interpretable linguistic skills.

研究の動機と目的

• レイアウト制約のあるMTタスク（文書、字幕、吹替）において出力長を制御する価値を動機づける。
• 2つの方法を通じてTransformer NMTを短い／長い翻訳へbiasedにする方法を調査する。
• データスケール全体で翻訳品質（BLEU）と長さ指標へのlength-control手法の影響を評価する。
• 組み合わせアプローチが品質低下を最小限に抑えつつ controllable な長さを提供できることを示す。
• length-controlモデルの実践的な訓練戦略（ゼロからの訓練 vs 微調整）を探る。

提案手法

• ソースをlength class tokenでトークン化し、3つの長さグループ（short, normal, long）を導入して単一モデルで全グループを処理できるよう訓練する。
• absolute（len-pos）と相対（quantized len/pos）バリアントを用いて、残り長さまたは目標長の割合を表すTransformerデコーダ内の長さエンコーディングを開発する。
• length-tokenとlength-encodingの両方を組み合わせて粗い長さ制御と細かい長さ制御を活用する。
• ベースラインのNMTモデルを長さ情報でファインチューニングして、長さ制御とベースラインの品質を分離する。
• En-ItとEn-DeでBLEUとBLEU*（簡潔さを考慮するため）を用いて評価し、mean length ratios LR_srcと LR_refを報告する。
• データ条件が小規模（TED MuST-C）と大規模の双方で、データレジームをまたいだ頑健性をテストする。

実験結果

リサーチクエスチョン

• RQ1 Transformer NMTモデルを、品質の大幅な低下なしに制御された長さの翻訳を生成するよう導くことができるか。
• RQ2 length-token conditioningとlength-encodingは長さ制御に補完的な利点を提供するか。
• RQ3 両方の方法を組み合わせると、翻訳品質と長さ予測性は言語ペアとデータ規模を超えてどう変化するか。
• RQ4 事前学習済みモデルを微調整する場合とゼロから訓練する場合で、長さ制御アプローチの影響はどう異なるか。
• RQ5 出力長をソース長に近づけつつ（LR_src ≈ 1.0）、BLEUスコアを維持できる程度はどれくらいか。

主な発見

Model	Strategy	BLEU	BLEU*	LR_src	LR_ref
Baseline	standard	32.33	32.33	1.05	1.03
Baseline	penalty	32.45	32.45	1.04	1.02
Training from scratch	normal	32.54	32.54	1.04	1.02
Len-Tok	short	31.62	32.90	0.97	0.95
Len-Tok	long	31.16	31.16	1.10	1.08
Len-Enc Rel	match	30.96	30.96	1.03	1.01
Len-Enc Abs	match	30.26	30.26	1.01	1.04

• length-token conditioningは概ね粗い長さ制御を提供し、BLEU損失を最小限に抑えつつ、いくつかの言語でLR_srcを1.0近くまで近づけることができる。
• length-encodingはより細かな長さ制御を達成できるが、絶対エンコーディングは切り捨てによって翻訳品質を低下させる可能性がある。相対エンコーディングは中間点を提供する。
• Tok+Encを組み合わせたアプローチは、短い・標準・長いといった多様な長さスタイルを実現でき、品質低下を限定的に抑えつつ目標長さを調整できる。
• ベースラインモデルに長さ情報を用いたファインチューニングは、BLEUを保ちつつ出力長をソース長に近づける長さ制御を可能にすることが多い。
• 大規模データ設定では、token-shortで長さをLR_src ≈ 1.00に削減しBLEUが言語対により34–36程度になる一方、normal/token設定はより高いBLEUを維持する。
• 手動評価は、短い翻訳が小さな品質低下を引き起こすことを示唆するが、統計的に有意である一方で認識可能な言い換えや簡略化戦略を含む。