[論文レビュー] Thinking Slow about Latency Evaluation for Simultaneous Machine Translation

Colin Cherry, George Foster|arXiv (Cornell University)|May 31, 2019

Natural Language Processing Techniques被引用数 33

ひとこと要約

本論文は Differentiable Average Lagging (DAL) を提案する。これは同時翻訳のための微分可能な待機遅延指標で、Average Lagging (AL) の不整合を是正し、内部のタイミングシナリオ下で遅延を評価する一貫した枠組みを提供する。

ABSTRACT

Simultaneous machine translation attempts to translate a source sentence before it is finished being spoken, with applications to translation of spoken language for live streaming and conversation. Since simultaneous systems trade quality to reduce latency, having an effective and interpretable latency metric is crucial. We introduce a variant of the recently proposed Average Lagging (AL) metric, which we call Differentiable Average Lagging (DAL). It distinguishes itself by being differentiable and internally consistent to its underlying mathematical model.

研究の動機と目的

• 本質的（タイミングに依存しない）同時翻訳評価における遅延測定を明確化する。
• 既存の Average Lagging (AL) 指標の限界を特定する。
• ターゲット書字コストを考慮し、AL の望ましい特性を維持する微分可能な遅延指標を提案する。
• 実用的な実装のための遅延モデルの非再帰的定式化を提供する。

提案手法

• g(t) を、ターゲットトークン t を書く前に読み込まれたソーストークン数として定義する。
• ターゲットトークンを書き込む際のタイムコスト d を組み込んだ g' を導入し、再帰式 g_d'(t)= { g(t) if t=1; max[g(t), g_d'(t-1)+d] } を介して、非再帰形と同値であることを示す。
• DAL_d を 1/|y| ∑_t ( g_d'(t) - (t-1)d ) として導出し、一貫性のために d = |x|/|y| を提案する。
• AL に含まれる問題の tau を、微分可能で時間ベースの定式化を用いて排除する。
• 非再帰的等価形 g_d'(t) = (t-1)d + max_{1≤i≤t} [ g(i) - (i-1)d ] を提供する。
• 特性、エッジケース、決定論的対適応的遅延戦略への影響について論じる。

実験結果

リサーチクエスチョン

• RQ1 ソースのタイミング情報なしで、本質的な同時翻訳評価における遅延をどのように測定できるか？
• RQ2 AL が微分可能であること、および特定のタイミング戦略を罰する/報いることの限界は何か？
• RQ3 ターゲットトークンを書き込むコストを考慮し、wait-k システムに対して一貫性を保つ微分可能な遅延指標を設計できるか？
• RQ4 さまざまな長さ条件下で、DAL は決定論的および適応的翻訳システムと比較して AL にどうなるか？

主な発見

• DAL は微分可能であり、AL の tau に基づく非微分性を排除する。
• DAL は書字コストパラメータ d を導入し、AL との整合性のために d = |x|/|y| と選択し、y が x より長い場合に追い付きを促す。
• DAL は wait-k システムにおける AL の解釈を保持しつつ、tau 後の無料書き込みによる AL の潜在的悪用を回避する。
• DAL の時間インデックス付き遅延は (t-1)d により下限を持ち、基準遅延を保証し、負の遅延を避ける。
• 経験的比較では AL と DAL の関係は主に線形であることが示され、DAL は保守的で、適応的 MILk における報告遅延は決定論的 wait-k システムよりやや高い。