[論文レビュー] Disentangling ASR and MT Errors in Speech Translation

Ngoc-Tien Le, Benjamin Lecouteux+1 more|arXiv (Cornell University)|Sep 3, 2017

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、共同ASR（音声認識）およびMT（機械翻訳）特徴を用いて、誤りの原因をASR（自動音声認識）とMT（機械翻訳）に分離する3クラス誤り検出フレームワークを提案する。学習用に2つのラベル抽出手法を導入し、フランス語-英語SLTで3クラス検出の平均F1スコア48.00%を達成し、エンドツーエンドSLTシステムにおける誤り原因の特定の可能性を示した。

ABSTRACT

The main aim of this paper is to investigate automatic quality assessment for spoken language translation (SLT). More precisely, we investigate SLT errors that can be due to transcription (ASR) or to translation (MT) modules. This paper investigates automatic detection of SLT errors using a single classifier based on joint ASR and MT features. We evaluate both 2-class (good/bad) and 3-class (good/badASR/badMT ) labeling tasks. The 3-class problem necessitates to disentangle ASR and MT errors in the speech translation output and we propose two label extraction methods for this non trivial step. This enables - as a by-product - qualitative analysis on the SLT errors and their origin (are they due to transcription or to translation step?) on our large in-house corpus for French-to-English speech translation.

研究の動機と目的

• 音声翻訳出力におけるASR誤りとMT誤りを区別する課題に対処すること。
• 2値（良し／悪い）誤り検出から脱却し、3クラス分類（良し、ASR誤り、MT誤り）に拡張することで、SLTにおける品質推定を向上させること。
• 大規模な社内フランス語-英語音声翻訳コーパスにおいて、誤り原因を割り当てる2つのラベル抽出手法を開発・評価すること。
• ASRおよびMTの共同特徴を用いた自動誤りタイプ検出を可能にし、より良いシステム診断およびインタラクティブ翻訳アプリケーションの支援を図ること。
• SLTにおける誤り原因の定性的および定量的分析を提供し、モデル改善を的確に支援すること。

提案手法

• 各翻訳セグメントを「良し」「ASR関連誤り」「MT関連誤り」の3クラスに分類する3クラス誤り検出タスクを提案する。
• ASRおよびMTモジュールからの統合特徴を用いて学習された1つの分類器を用い、誤りタイプを予測する。
• 2種類の異なるラベル抽出手法を採用する：(1) WERベースのASR誤り検出とTERp-AベースのMT誤り検出、(2) ASRおよびMTの信頼度推定を組み合わせた2段階アプローチ。
• 翻訳全体にわたる誤りラベル系列をモデル化するために、CRF（条件付き確率場）を用いた系列ラベリングを適用する。
• 重み付き統合モデルにより、ASRおよびMTコンポonentからの信頼度推定を統合する：$ \hat{q} = \underset{q}{\arg\max} \{ p_{ASR}(q|x_f,f)^\alpha * p_{MT}(q|e,f)^{1-\alpha} \} $。
• 開発セットで学習し、4050件のテスト発話を含む大規模な社内フランス語→英語音声翻訳コーパスのテストセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの分類器が、音声翻訳出力におけるASR誤りとMT誤りを効果的に検出し、分離できるか？
• RQ2 異なるラベル抽出戦略は、SLTにおける3クラス誤りラベリングの信頼性および一貫性にどのように影響するか？
• RQ3 従来の2クラス検出と比較して、3クラス誤り検出はF1スコアおよび誤り原因同定の観点でどの程度の性能向上をもたらすか？
• RQ4 エンドツーエンド音声翻訳システムにおいて、ASRおよびMTの統合特徴は、誤り原因の検出をどの程度向上させるか？
• RQ5 実世界の音声翻訳出力において、ASRおよびMTモジュール間で誤り分布はどのように変動するか？

主な発見

• 1ステップ手法を用いた3クラス誤り検出フレームワークは、テストセットで平均F1スコア48.00%を達成し、良し：48.00%、ASR関連誤り：44.00%、MT関連誤り：16.00%を記録した。
• 2段階ラベル抽出手法はやや低い性能（平均F1スコア47.33%）を示したが、誤りタイプの分離が一貫しており、手法の妥当性を裏付けた。
• 混同行列の結果、MT誤りが頻繁にASR誤りとして誤分類される傾向（例：1つの設定でMT誤りの55.54%がASR誤りとしてラベル付けされた）が明らかになり、MTの信頼度推定の改善が求められることが示された。
• ASR関連誤りのF1スコアにおいて、1ステップ手法が2段階手法を上回った（85.00% vs. 83.14%）、ASRおよびMT特徴の統合がより効果的であることを示唆した。
• 本研究は、誤り原因の分離が実現可能であり、特にインタラクティブな環境において、SLTシステムの改善に役立つ具体的な知見を提供することを示した。
• 統合されたASRおよびMT特徴のモデリングは、個別のコンponentのモデリングに比べ、誤り検出性能を顕著に向上させることを確認した。