[論文レビュー] Specialized Language Models using Dialogue Predictions

C. Popovici, Paolo Baggia|ArXiv.org|Dec 12, 1996

Speech and dialogue systems参考文献 8被引用数 6

ひとこと要約

本稿では、特定の会話行動（例：パラメータの照会や確認）に合わせて言語モデルをカスタマイズすることで、音声対話システムにおける音声認識および理解の性能を向上させる会話依存型言語モデルを提案する。対象となる会話行動に特化したモデルを用いることで、汎用的な単一モデルとは異なり、性能が著しく向上する。イタリアの鉄道時刻案内システムを対象とした実験では、特にシステム応答の理解性能向上において、汎用モデルやクラスタリングやより良い音響モデルといった補完的技術を上回る効果が得られた。

ABSTRACT

This paper analyses language modeling in spoken dialogue systems for accessing a database. The use of several language models obtained by exploiting dialogue predictions gives better results than the use of a single model for the whole dialogue interaction. For this reason several models have been created, each one for a specific system question, such as the request or the confirmation of a parameter. The use of dialogue-dependent language models increases the performance both at the recognition and at the understanding level, especially on answers to system requests. Moreover other methods to increase performance, like automatic clustering of vocabulary words or the use of better acoustic models during recognition, does not affect the improvements given by dialogue-dependent language models. The system used in our experiments is Dialogos, the Italian spoken dialogue system used for accessing railway timetable information over the telephone. The experiments were carried out on a large corpus of dialogues collected using Dialogos.

研究の動機と目的

• 音声対話システムにおけるデータベースアクセスのための音声認識および自然言語理解の性能を向上させること。
• 多様な会話文脈にわたって単一の汎用言語モデルを適用することの限界を解決すること。
• 統一されたモデルと比較して、会話固有の言語モデルが性能向上をもたらすかどうかを調査すること。
• 実世界の対話システムにおける認識精度および理解効果性に与える専用モデルの影響を評価すること。
• 専用モデルの利点が、語彙クラスタリングやより良い音響モデルといった他の改善策と重複しない独立した利点をもたらすかどうかを特定すること。

提案手法

• 会話フロー内の特定の会話行動（例：照会、確認）に特化した複数の言語モデルを開発した。
• 対話システム「Dialogos」から収集した本物の電話対話の大量コーパスを用いて、言語モデルを学習した。
• 会話状態を予測することで、現在の状態に応じて適切な言語モデルを動的に選択した。
• 鉄道時刻案内情報へのアクセスを目的とした音声対話システムに、専用モデルを統合した。
• 音声認識および自然言語理解のための標準的指標を用いて性能を評価した。
• 単一の汎用言語モデルおよび他の強化技術（例：語彙クラスタリング、改善された音響モデル）と比較した。

実験結果

リサーチクエスチョン

• RQ1 単一の汎用モデルと比較して、会話固有の言語モデルは音声対話システムにおける認識および理解性能を向上させることができるか？
• RQ2 照会や確認などの異なる会話行動において、専用言語モデルの性能はどのように変化するか？
• RQ3 語彙クラスタリングやより良い音響モデルといった他の技術と併用した場合、会話依存型言語モデルの利点は加法的であるか？
• RQ4 専用モデルは、システムが生成する応答の理解をどの程度向上させるか？
• RQ5 会話予測を用いて、対話の各ターンで適切な言語モデルを選択することが実際に有効に機能するか？

主な発見

• 専用言語モデルは、音声認識および自然言語理解の両タスクにおいて、単一の汎用言語モデルを著しく上回る性能を示した。
• 特に確認や照会の会話行動において、システムが生成する応答の処理において性能向上が顕著に見られた。
• 会話依存型言語モデルの使用は、語彙クラスタリングやより良い音響モデルといった他の改善策とは独立して、かつ加法的に性能向上をもたらす。
• 特に複雑な会話ターンにおいて、ユーザー発話の理解精度が、行動固有の言語モデルを用いることで向上した。
• 会話文脈をカスタマイズされた言語モデルでモデル化することで、実世界の音声対話アプリケーションにおいて測定可能な性能向上が達成されることを示した。
• 結果から、会話予測を活用して各対話ターンで最も適切な言語モデルを選択できることが確認され、システムの耐障害性が向上することが示された。