[論文レビュー] Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition

Atsushi Fujii, Itou, Katunobu+1 more|ArXiv.org|Jun 24, 2002

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、統計的言語モデルをターゲット情報検索（IR）コレクションに適応させることで、音声認識とテキスト検索を統合する手法を提案する。この手法により、音声認識の精度と検索性能の両方が顕著に向上し、語彙誤り率（WER）と語句誤り率（TER）が低減され、音声駆動型クエリにおいてテキスト対テキスト検索性能の最大80％に達する。

ABSTRACT

Speech recognition has of late become a practical technology for real world applications. Aiming at speech-driven text retrieval, which facilitates retrieving information with spoken queries, we propose a method to integrate speech recognition and retrieval methods. Since users speak contents related to a target collection, we adapt statistical language models used for speech recognition based on the target collection, so as to improve both the recognition and retrieval accuracy. Experiments using existing test collections combined with dictated queries showed the effectiveness of our method.

研究の動機と目的

• 音声駆動型テキスト検索における音声認識精度の低さを、言語モデルの不一致に起因するものとして解決すること。
• ターゲットIRコレクションを用いて言語モデルを適応させることで、音声認識と検索性能の両方が向上するかを調査すること。
• ドメイン固有の言語モデリングを活用して、 spoken queries における語彙誤り率（WER）と語句誤り率（TER）を低減すること。
• NTCIR-1 および NTCIR-2 のような実世界のテストコレクションを用いて、言語モデル適応の有効性を評価すること。
• 上位順位のドキュメントを用いたオンライン適応の可能性を検討し、さらなる検索結果の最適化を図ること。

提案手法

• システムは二段階検索アーキテクチャを採用する。まず、ターゲットIRコレクション全体を用いてオフラインで言語モデルを適応させ、音声認識精度を向上させる。
• 音声認識モジュールは、オフラインで学習した音響モデルと、ターゲットコレクションから導出されたオンライン適応言語モデルを統合する。
• オンライン適応では、初期検索から得られた上位ドキュメントを用いて局所的な言語モデルを生成し、認識と検索プロセスを精緻化する。
• 標準的な統計的言語モデリング手法を採用し、ターゲットコレクションから導出されたn-gram確率に基づいてモデル適応を実施する。
• システムは、NTCIRテストコレクションからの音声入力クエリを用いて、平均適合率（AP）、語彙誤り率（WER）、語句誤り率（TER）を評価する。
• 音声認識モジュールとテキスト検索モジュールを統合し、第一段階の出力を二段階検索パイプラインにおける反復的精緻化の入力として扱う。

実験結果

リサーチクエスチョン

• RQ1 ターゲットIRコレクションに統計的言語モデルを適応させることで、音声駆動型テキスト検索における音声認識精度が向上するか？
• RQ2 ドメイン固有のコレクションに基づく言語モデル適応は、語彙誤り率（WER）と語句誤り率（TER）を低減するか？
• RQ3 適応された言語モデルを用いた場合、音声駆動型検索の性能はテキスト対テキスト検索と比べてどの程度の水準に達するか？
• RQ4 上位順位のドキュメントを用いたオンライン適応は、検索精度をどの程度向上させるか？
• RQ5 言語モデル適応の有効性は、異なる発話者やクエリタイプの間で一貫しているか？

主な発見

• NTCIRベースの言語モデルは、新聞ベースのモデルと比較して、語彙誤り率（WER）を15–20％、語句誤り率（TER）を10–20％低減した。
• NTCIRベースの言語モデルを用いた音声駆動型クエリの最良検索性能では、平均適合率（AP）がテキスト対テキスト検索性能の80％に達した。
• 本手法は、発話者性別のいかなる条件下でも、新聞ベースの言語モデルを著しく上回った。
• 語句誤り率（TER）は常に語彙誤り率（WER）よりも高かったため、クエリにおける内容語（コンテンツ語）が機能語よりも誤認識されやすいことが示された。
• 未知語語彙（out-of-vocabulary）問題が、特に重要なクエリ語が誤認識される原因として顕著に寄与していた。
• 再現率-適合率曲線は、全再現率レベルにおいてNTCIRベースのモデルが新聞ベースのモデルを一貫して上回っていることを確認した。