[論文レビュー] Subtitles to Segmentation: Improving Low-Resource Speech-to-Text Translation Pipelines

David Wan, Zhengping Jiang+4 more|arXiv (Cornell University)|Oct 19, 2020

Natural Language Processing Techniques参考文献 13被引用数 4

ひとこと要約

本稿では、リトアニア語やブルガリア語などの低リソース言語向けに、テレビ・映画の字幕を代替データセットとして使用し、改善された自動音声認識（ASR）セグメンテーションモデルを訓練することを提案する。未分離のASR出力からのノイズのある品詞や依存解析特徴を組み込むことで、セグメンテーションの正確性が向上し、機械翻訳（MT）およびクロスリンガル情報検索（CLIR）の性能に顕著な向上効果が得られる。

ABSTRACT

In this work, we focus on improving ASR output segmentation in the context of low-resource language speech-to-text translation. ASR output segmentation is crucial, as ASR systems segment the input audio using purely acoustic information and are not guaranteed to output sentence-like segments. Since most MT systems expect sentences as input, feeding in longer unsegmented passages can lead to sub-optimal performance. We explore the feasibility of using datasets of subtitles from TV shows and movies to train better ASR segmentation models. We further incorporate part-of-speech (POS) tag and dependency label information (derived from the unsegmented ASR outputs) into our segmentation model. We show that this noisy syntactic information can improve model accuracy. We evaluate our models intrinsically on segmentation quality and extrinsically on downstream MT performance, as well as downstream tasks including cross-lingual information retrieval (CLIR) tasks and human relevance assessments. Our model shows improved performance on downstream tasks for Lithuanian and Bulgarian.

研究の動機と目的

• 低リソースな音声翻訳パイプラインにおける不良なASR出力のセグメンテーション問題に対処すること。
• セグメンテーション用のラベル付き学習データが入手不能または不足している状況でのセグメンテーション品質の向上。
• 句読点や会話の切り替えの兆候が豊富に含まれる字幕を、セグメンテーションモデルのトレーニングの代替として使用可能かどうかの検討。
• ノイズのあるASR出力から抽出した構文的特徴（品詞と依存解析）が、セグメンテーションの正確性に与える影響の評価。
• 機械翻訳（MT）およびクロスリンガル情報検索（CLIR）タスクにおける下流タスクでの性能向上の実証。

提案手法

• 句読点や発話者切り替えのマーカーを用いて、字幕から文境界を抽出することで、代替のセグメンテーションデータセットを構築。
• 音声特徴と、未分離のASR出力からの構文特徴（品詞と依存構造ラベル）を用いて、ニューラル系列タギングモデルを訓練し、文境界を予測。
• ASRの仮説をそのまま処理し、ノイズは含まれるが有用な構文特徴（品詞と依存解析）を生成。
• F1スコアとウィンドウ差分（WD）を用いて、セグメンテーション品質を内部的（イントラクティビティ）に評価。
• 下流の機械翻訳（BLEU、AQWV）およびクロスリンガル情報検索（CLIR）タスク（ドキュメントレベルおよびパassageレベル）を外部的（エクストラクティビティ）に評価。
• Amazon Mechanical Turkを用いた人間評価を通じて、MT品質および検索結果のパassageのクエリ関連性を評価。

実験結果

リサーチクエスチョン

• RQ1 テレビおよび映画の字幕を、低リソース環境下でのASRセグメンテーションモデルのトレーニングの代替データセットとして効果的に使用できるか？
• RQ2 未分離のASR出力から得られるノイズのある構文特徴（品詞と依存解析）を組み込むことで、セグメンテーションモデルの性能が向上するか？
• RQ3 改善されたセグメンテーションが、下流の機械翻訳およびCLIRタスクにおいて測定可能な向上をもたらす程度はどの程度か？
• RQ4 人間評価において、MT品質および関連性の観点から、本手法のセグメンテーションモデルは音声特徴のみのセグメンテーションより優れているか？
• RQ5 異なるMTシステムおよびドメイン（例：CSドメイン）において、本モデルは一貫した改善効果を示すか？

主な発見

• 構文特徴を含むSub+Sモデルは、リトアニア語で45.94のF1スコア、ブルガリア語で56.40のF1スコアを達成し、ベースラインモデルと比較して統計的に有意な向上を示した。
• CSドメインでは、Sub+Sモデルがベースライン比でAQWVを0.106ポイント向上させ、UMD-SMT/NBでは最大0.125ポイントの絶対的向上を達成した。
• 人間評価では、ブルガリア語においてクエリ関連性に一貫した向上が確認されたが、リトアニア語ではBLEUスコアの向上は顕著ではなかった。
• 特にCSドメインにおいて、音声特徴のみのセグメンテーションは断片的で文としての性質を欠いた出力を生じるのに対し、本モデルは人間の関連性評価において優れた性能を示した。
• リトアニア語ではBLEUスコアが低くても、ドキュメントレベルのCLIRタスクにおいて性能向上が見られたことから、翻訳品質の変動に強く、頑健であることが示された。
• 字幕を代替データセットとして使用することで、データが限られる低リソース環境でも、複数の評価設定において一貫した改善効果が得られた。