[論文レビュー] Automatically Selecting Useful Phrases for Dialogue Act Tagging

Ken Samuel, Sandra Carberry+1 more|ArXiv.org|Jun 18, 1999

Speech and dialogue systems参考文献 20被引用数 27

ひとこと要約

本稿では、会話における話者の意図を示すフレーズ（会話行動のキュー）を自動的に選択する新規手法を提案する。この手法は、最適に予測可能なフレーズからの逸脱度を測る新しい指標を用い、洗練された語彙フィルタで強化されている。この方法は、手動による選択や相互情報量や情報ゲインといった従来の指標よりも顕著に優れた会話行動タグ付けの正確性を達成し、特に候補フレーズの5%しか使用しない状況でも顕著である。

ABSTRACT

We present an empirical investigation of various ways to automatically identify phrases in a tagged corpus that are useful for dialogue act tagging. We found that a new method (which measures a phrase's deviation from an optimally-predictive phrase), enhanced with a lexical filtering mechanism, produces significantly better cues than manually-selected cue phrases, the exhaustive set of phrases in a training corpus, and phrases chosen by traditional metrics, like mutual information and information gain.

研究の動機と目的

• 手動によるキュー語句選択の限界を是正すること。これは、しばしばドメイン固有でタスク関連の語句を漏れがちにするためである。
• タグ付け済みコーパスを活用して、予約スケジューリング会話に適した有効な会話行動のキューを特定する自動手法を開発すること。
• 簡潔で重複のない高効用語句のセットを選択することで、会話行動タグ付けのパフォーマンスを向上させること。
• 自動語句選択が人間の直感や標準的な統計指標を上回る有効性を示すかどうかを評価すること。
• 重複語句を除去してもタグ付け正確性を損なわない語彙フィルタを設計すること。

提案手法

• 提案手法は、最適に予測可能なフレーズからどれほど逸脱しているかを測る新しい指標、すなわち逸脱条件付き確率（DCP）を用いる。
• この手法は、フレーズが与えられた状況での会話行動の条件付き確率を計算し、その値を最大の予測可能性である理論的最良値と比較することで、選択スコアを得る。
• 重複を減らすために、同じ会話行動に対してスコアが高いフレーズの部分列であるフレーズを削除する、変更を加えた語彙フィルタを適用する。
• このルールは、フレーズ p が、同じ会話行動に対してスコアがより高いフレーズ p' の部分列であり、かつ両方が選択済みの場合、p を削除するというものである。
• このアプローチは、18種類の会話行動を持つ予約スケジューリング会話の手動タグ付け済みデータセット、VerbMobilコーパスを用いて評価された。
• 性能は、選択されたフレーズの5%、10%、20%、100%を用いた会話行動タグ付けの正確性で測定された。

実験結果

リサーチクエスチョン

• RQ1 最適予測からの逸脱に基づく自動手法が、会話行動タグ付けにおいて手動で選択されたキュー語句を上回ることができるか？
• RQ2 DCP指標は、相互情報量や情報ゲインといった従来の指標と比較して、有効な会話行動キューを効果的に選択できるか？
• RQ3 重複語句を除去する語彙フィルタは、会話行動タグ付けの効率性と正確性を向上させることができるか？
• RQ4 小さな、フィルタ処理済みの語句セットは、全候補語句セットと比較して高い正確性を維持できるか？
• RQ5 ドメイン固有、タスク固有、行動固有の語句は、効果的な会話行動タグ付けにどの程度貢献するか？

主な発見

• DCP指標に変更を加えた語彙フィルタを組み合わせた手法は、すべてのベースライン（手動選択語句、相互情報量や情報ゲインといった従来の指標）を上回る顕著な会話行動タグ付け正確性を達成した。
• 候補フレーズの5%（全14,231語句中712語句）しか使用しない状況でも、DCP手法は全フレーズ（100%）を使用する「全検索（ALL）」手法を上回る正確性を維持した。
• 変更されたフィルタは、候補フレーズの23%（3,224語句）から72%（10,237語句）を削除し、正確性に損なわれることなく顕著な重複削減を達成した。
• フィルタの有効性は、フィルタ処理後も正確性が低下せず、一部のケースでは重複語句によるノイズが減少したことで正確性が向上したことで裏付けられた。
• この手法は、この分野において、直感的または頻度に基づく選択よりも、最適予測からの逸脱に基づく自動選択がより効果的であることを示した。
• 結果から、自動語句選択は人間の専門家や標準的な統計的測定よりも、より簡潔で効果的なキューのセットを生成できる可能性がある。