[論文レビュー] Task Loss Estimation for Sequence Prediction

Dzmitry Bahdanau, Dmitriy Serdyuk+5 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 26被引用数 28

ひとこと要約

本論文では、シーケンス予測のための新しい代替損失であるタスク損失推定（TLE）を提案する。TLEは、各入力-出力ペアのタスク損失（例：文字誤り率）を直接的目標スコアとしてモデル化する。モデルがこれらのタスク損失値を予測し、推定誤差を最小化するように訓練することで、TLEは実際のタスク損失と整合性を保ち、外部言語モデルを用いない音声認識において、交差エントロピー法よりも相対的に13% CERを改善する。

ABSTRACT

Often, the performance on a supervised machine learning task is evaluated with a emph{task loss} function that cannot be optimized directly. Examples of such loss functions include the classification error, the edit distance and the BLEU score. A common workaround for this problem is to instead optimize a emph{surrogate loss} function, such as for instance cross-entropy or hinge loss. In order for this remedy to be effective, it is important to ensure that minimization of the surrogate loss results in minimization of the task loss, a condition that we call emph{consistency with the task loss}. In this work, we propose another method for deriving differentiable surrogate losses that provably meet this requirement. We focus on the broad class of models that define a score for every input-output pair. Our idea is that this score can be interpreted as an estimate of the task loss, and that the estimation error may be used as a consistent surrogate loss. A distinct feature of such an approach is that it defines the desirable value of the score for every input-output pair. We use this property to design specialized surrogate losses for Encoder-Decoder models often used for sequence prediction tasks. In our experiment, we benchmark on the task of speech recognition. Using a new surrogate loss instead of cross-entropy to train an Encoder-Decoder speech recognizer brings a significant ~13% relative improvement in terms of Character Error Rate (CER) in the case when no extra corpora are used for language modeling.

研究の動機と目的

• シーケンス予測における非微分可能なタスク損失関数（例：CER、BLEU）と標準的な代替損失（例：交差エントロピー）の間の不整合を解消すること。
• 各出力に対してタスク損失を目標スコアとしてモデル化することで、実際にタスク損失を最小化することを保証する代替損失の開発。
• 各シーケンス要素に正確な目標スコアを割り当てることで、エンコーダ-デコーダモデルの訓練効率と一般化性能を向上させること。
• 最終的な評価指標とよりよく一致するエンドツーエンド訓練を可能にし、特に構造化予測タスクにおいて有効である。
• 外部言語モデルが使用されない低リソース環境でも、TLEが交差エントロピーを上回ることを示すこと。

提案手法

• 各入力-出力ペアの真のタスク損失を予測するスコア関数を学習させ、その推定誤差に基づく代替損失を提案する。
• 他の出力に依存せずに、すべての可能な出力シーケンスに対して目標スコアを定義し、タスク損失と整合性を保つ。
• エンコーダ-デコーダモデルに適用する際、合計スコアを要素ごとの寄与に分解し、各項に個別の目標スコアを割り当てる。
• 予測されたタスク損失スコアと目標スコアの平均二乗誤差を最小化する微分可能な損失関数を用いる。
• 誤った出力を、真の出力からのずれではなく、その実際のタスク損失に基づいて直接ペナルティを与えることで、モデルの誤りに対する訓練を可能にする。
• 計算効率を維持し、交差エントロピーと同等の速度で学習可能であり、グリーディおよびビームサーチによる推論もサポートする。

実験結果

リサーチクエスチョン

• RQ1 シーケンス予測において、代替損失を最小化することが、実際にタスク損失を最小化することを保証できるように構築できるか？
• RQ2 文字誤り率やBLEUスコアのように非微分可能なタスク損失の場合、どのように微分可能な代替損失を導出できるか？
• RQ3 各出力シーケンスに正確な目標スコアを割り当てることで、seq2seqタスクにおけるモデルの一般化性能と推論品質が向上するか？
• RQ4 外部言語モデルを用いない低リソース環境でも、タスク損失推定が標準的な交差エントロピー学習を上回るか？
• RQ5 提案手法がグリーディおよびビームサーチによるデコード戦略の性能にどのように影響を与えるか？

主な発見

• タスク損失推定（TLE）は、外部言語モデルを用いない音声認識タスクにおいて、交差エントロピー学習と比較して13%の相対的CER削減を達成した。
• TLEモデルはビームサイズにかかわらず一貫した改善を示し、特にビームサイズ10で最良の性能を示した。一方、交差エントロピーモデルではビームサイズ100を超えてもさらなる向上は得られなかった。
• 文誤り率（SER）も、SERが本質的に分類誤り率であるにもかかわらず、TLEモデルは交差エントロピーモデルよりも常に低く、交差エントロピーがこのようなタスクで最適であるという仮定に疑問を呈する。
• ビームサイズ1ではTLEモデルが評価セットeval92でCER6.1%を達成したのに対し、交差エントロピーでは7.6%であった。これは言語モデルなしの環境下でも顕著な改善を示している。
• TLEモデルはさまざまなビームサイズに対して安定した性能を示し、ビームサイズを10から1に減らしても劣化が最小限に抑えられ、推論戦略に対して頑健であることがわかった。
• 標準的または拡張された言語モデルを用いても、TLEモデルは一部の指標（特に拡張言語モデル下でのSER）で交差エントロピーを上回ったが、言語モデルなしの状況ほど大きな向上は得られなかった。