[論文レビュー] ISO-Standard Domain-Independent Dialogue Act Tagging for Conversational Agents

Stefano Mezza, Alessandra Cervone+3 more|arXiv (Cornell University)|Jun 12, 2018

Speech and dialogue systems参考文献 29被引用数 28

ひとこと要約

本稿では、ドメインに依存しない対話行動（DA）タギングのためのISO 24617-2標準のサブセットに、複数の公開済み対話コーパスをマッピングする手法を提案し、大規模で相互運用可能な学習コーパスを構築する。この統合リソースを用いて、著者らはサポートベクターマシンベースのDAタッパーを訓練し、ドメイン外のテストセットにおいて優れた性能を達成した。これにより、マルチコーパス学習を用いたドメインに依存しないDA分類の実現可能性が示された。

ABSTRACT

Dialogue Act (DA) tagging is crucial for spoken language understanding systems, as it provides a general representation of speakers' intents, not bound to a particular dialogue system. Unfortunately, publicly available data sets with DA annotation are all based on different annotation schemes and thus incompatible with each other. Moreover, their schemes often do not cover all aspects necessary for open-domain human-machine interaction. In this paper, we propose a methodology to map several publicly available corpora to a subset of the ISO standard, in order to create a large task-independent training corpus for DA classification. We show the feasibility of using this corpus to train a domain-independent DA tagger testing it on out-of-domain conversational data, and argue the importance of training on multiple corpora to achieve robustness across different DA categories.

研究の動機と目的

• 既存のコーパス間で互換性のないアノテーションスキームが原因で、大規模かつ相互運用可能なドメインに依存しない対話行動（DA）学習データが不足しているという問題に対処すること。
• ISO 24617-2に基づく共通の標準化されたDA分類体系に、複数の既存の対話コーパスを体系的にマッピングするための手法を開発すること。
• 統合されたISO準拠コーパスを用いたマルチコーパス学習により、ドメイン外のテストデータに対してドメインに依存しないDAタッパーを訓練する際の実現可能性と有効性を評価すること。
• 複数の多様なコーパスで学習させることで、さまざまなDAカテゴリーや対話文脈においてモデルの頑健性が向上することを示すこと。

提案手法

• 著者らは、Switchboard、AMI、DialogBank、その他の公開済み対話コーパスを、標準化されたマッピング手順を用いてISO 24617-2のDA分類体系の共通サブセットにマッピングする。
• マッピングされたコーパスを統合し、タスクおよびドメインに依存しないDA分類のための大規模な学習コーパスを構築する。
• n-gram、直前のDAタグ、品詞（POS）タグ、およびインデックス付き従属関係を特徴量として用いるサポート付き多クラス分類フレームワーク（SVMベース）を採用する。
• モデルの性能を最先端の結果と比較するため、標準的なトレイン/テスト分割を用いてSwitchboardコーパス上で最初に評価を行う。
• 最終的なモデルは統合コーパスで学習され、同じ特徴量セットとハイパーパrameterを用いて、3つのドメイン外テストセット（DialogBank、CAPC、S-Logs）で評価される。
• 各データセットが全体の性能に与える寄与度を評価するために、1つのコーパスずつ除外するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 複数の公開済み対話コーパスを、共通の標準化されたDA分類体系（ISO 24617-2）に体系的にマッピングし、統一されたドメインに依存しない学習リソースを構築できるか？
• RQ2 マルチコーパスかつISO準拠のコーパスを用いて学習させたDAタッパーは、ドメイン外のテストセットにおいても頑健な性能を示せるか？
• RQ3 n-gram、POS、従属関係などの異なる特徴量の組み合わせが、多様なテストセットにおけるDAタッパーの性能にどのように影響するか？
• RQ4 どの個々のコーパスがマルチコーパスモデル全体の性能向上に最も寄与しているか？

主な発見

• 提案された手法により、多様な対話コーパスが共通のISO 24617-2標準のサブセットにマッピングされ、コーパス間の相互運用性と再利用が可能になった。
• 統合されISO準拠のコーパスで学習されたDAタッパーは、DialogBankテストセットで67.1%、CAPCで74.3%、S-Logsで82.3%の正解率を達成し、優れたドメイン外一般化性能を示した。
• 複数のコーパスで学習させることでDAカテゴリーや対話文脈全体におけるモデルの頑健性が顕著に向上し、特にSWDAとAMIを含めた全コーパスを使用した場合に最高の性能が得られた。
• SWDAとAMIを除外すると性能の低下が最も顕著に現れ、これらがモデルの一般化性能において重要な役割を果たしていることが示された。一方、VerbMobil や MapTask などの小さなコーパスは影響が小さい。
• インデックス付き従属関係の追加により、DialogBankとCAPCでの性能が向上したが、SWDAでは有意な向上が得られなかった。
• 1-2-grams、直前のDAタグ、インデックス付きPOSタグ、および従属関係を組み合わせたモデルが、全テストセットにわたり最良の性能を示し、その有効性が確認された。