[論文レビュー] The Influence of Context on Dialogue Act Recognition

Eugénio Ribeiro, Ricardo Ribeiro+1 more|arXiv (Cornell University)|Jun 2, 2015

Speech and dialogue systems参考文献 30被引用数 19

ひとこと要約

本稿では、SwitchboardコーパスおよびISO 24617-2標準化データを用いたSVMベースの分類手法を用いて、先行対話セグメントからの文脈が対話行動認識に与える影響を調査する。文脈、特に先行対話行動ラベルの形での情報が性能を顕著に向上させることを発見した。特に最初の先行セグメントが最も情報が多く、影響は距離とともに指数関数的に減少し、Switchboardにおいて最先端の結果を達成するとともに、標準化評価のためのベースラインを確立した。

ABSTRACT

This article presents an analysis of the influence of context information on dialog act recognition. We performed experiments on the widely explored Switchboard corpus, as well as on data annotated according to the recent ISO 24617-2 standard. The latter was obtained from the Tilburg DialogBank and through the mapping of the annotations of a subset of the Let's Go corpus. We used a classification approach based on SVMs, which had proved successful in previous work and allowed us to limit the amount of context information provided. This way, we were able to observe the influence patterns as the amount of context information increased. Our base features consisted of n-grams, punctuation, and wh-words. Context information was obtained from one to five preceding segments and provided either as n-grams or dialog act classifications, with the latter typically leading to better results and more stable influence patterns. In addition to the conclusions about the importance and influence of context information, our experiments on the Switchboard corpus also led to results that advanced the state-of-the-art on the dialog act recognition task on that corpus. Furthermore, the results obtained on data annotated according to the ISO 24617-2 standard define a baseline for future work and contribute for the standardization of experiments in the area.

研究の動機と目的

• 先行対話セグメントからの文脈が対話行動認識性能に与える影響を調査すること。
• n-gram、標点、wh語、対話行動ラベルの異なる文脈表現が分類精度に与える影響を評価すること。
• ISO 24617-2標準に従ってアノテートされたデータにおける対話行動認識のパフォーマンスベースラインを確立すること。
• 異なるコーパスおよび言語タイプにおいて、文脈に基づく改善の頑健性と一般化能力を評価すること。
• 文脈に配慮した特徴を用いることで、Switchboardコーパスにおける対話行動認識の最先端水準を向上させること。

提案手法

• n-gram、標点、wh語を含む基本特徴を用いた教師ありSVMベースの分類手法を採用した。
• 1〜5個の先行セグメントからのn-gramまたは対話行動ラベルを文脈情報として表現した。
• セグメントとの距離をタグ付けすることで、現在のセグメント特徴とは区別するようにした。
• 複数のコーパスおよびタグセットで、主に正答率を指標としてパフォーマンスを評価した。
• 頑健性を評価するために、手動と自動生成アノテーションの両方を適用した。
• データセット間でのアノテーション統一と標準化評価を可能にするために、ISO 24617-2標準を用いた。

実験結果

リサーチクエスチョン

• RQ1 先行対話セグメントからの文脈の取り入れが、対話行動認識の正確性にどのように影響するか？
• RQ2 n-gramと対話行動ラベルのどちらの文脈表現が、より高い性能とより安定した影響パターンをもたらすか？
• RQ3 先行セグメントの影響が現在の対話行動分類に及ぶ有効範囲はどの程度か？
• RQ4 ISO 24617-2標準アノテーションを用いた場合、文脈情報が性能にどのように影響するか？
• RQ5 文脈に基づく改善は、異なるコーパスおよび言語タイプにわたって一般化可能か、その程度はいかに？

主な発見

• 先行セグメントからの文脈情報が、対話行動認識の正確性を顕著に向上させた。特に最初の先行セグメントが最も情報が多く、影響が最も強い。
• 先行セグメントの対話行動ラベルを文脈として用いることで、n-gramベースの文脈表現よりも高い性能とより安定した結果が得られた。
• 先行セグメントの影響は、距離が増加するにつれて指数関数的に減少し、第3セグメント以降では利得が著しく減少した。
• 対話行動ラベルに基づくアプローチは、すべてのタグセットバリアントにおいてSwitchboardコーパスで最先端の結果を達成した。
• ISO 24617-2アノテーションのTask以外の次元からの文脈を含めることで、最大2パーセンテージポイントのわずかな、有意でない正確性の向上が得られた。
• 自動生成アノテーションを用いても同様の影響パターンが観察されたため、アノテーション品質のばらつきに対して頑健であることが示された。