[論文レビュー] Dialogue Act Recognition via CRF-Attentive Structured Network

Zheqian Chen, Rongqin Yang+3 more|arXiv (Cornell University)|Nov 15, 2017

Speech and dialogue systems参考文献 36被引用数 10

ひとこと要約

本稿では、線形チェーンCRF層上に構造化注意ネットワークを統合し、階層的意味的推論と記憶メカニズムを統合した、対話行動認識のための新規エンドツーエンドディープラーニングモデル、CRF-ASNを提案する。この手法は、発話レベルおよび対話行動レベルの依存関係を捉え、Switchboardデータセットにおいて最先端の性能を達成し、人的アノテータの精度から2%の差をつける。

ABSTRACT

Dialogue Act Recognition (DAR) is a challenging problem in dialogue interpretation, which aims to attach semantic labels to utterances and characterize the speaker's intention. Currently, many existing approaches formulate the DAR problem ranging from multi-classification to structured prediction, which suffer from handcrafted feature extensions and attentive contextual structural dependencies. In this paper, we consider the problem of DAR from the viewpoint of extending richer Conditional Random Field (CRF) structural dependencies without abandoning end-to-end training. We incorporate hierarchical semantic inference with memory mechanism on the utterance modeling. We then extend structured attention network to the linear-chain conditional random field layer which takes into account both contextual utterances and corresponding dialogue acts. The extensive experiments on two major benchmark datasets Switchboard Dialogue Act (SWDA) and Meeting Recorder Dialogue Act (MRDA) datasets show that our method achieves better performance than other state-of-the-art solutions to the problem. It is a remarkable fact that our method is nearly close to the human annotator's performance on SWDA within 2% gap.

研究の動機と目的

• 手作業で特徴を抽出する従来のマルチクラス分類手法の限界に対処する。これらの手法は文脈的依存関係を無視している。
• 会話の文脈をフラットなシーケンスとして扱い、発話レベルと行動レベルの二重依存関係をモデル化できない既存の構造的予測モデルの欠陥を克服する。
• より豊富な条件付きランダムフィールド（CRF）の構造的依存関係と注意メカニズムを統合しつつ、すべてのコンポONENTを同時に最適化できるエンドツーエンド微分可能構造を維持する。
• 発話間で長距離の文脈的依存関係をモデル化するために、階層的意味的推論とメモリ拡張型符号化を強化する。
• ベンチマーク対話行動認識データセットにおいて、人的アノテーションの精度に近い性能を達成する。

提案手法

• 単語、発話、会話の各レベルで発話表現をモデル化する、メモリ強化型の階層的意味的推論機構を採用する。
• 会話シーケンス全体にわたる長期依存関係を捉えるために、メモリ拡張型再帰ネットワークを統合する。
• 線形チェーンCRF層内に作用する内部構造化注意ネットワークを設計し、対話行動間のソフトで文脈に配慮した依存関係をモデル化する。
• 構造化注意メカニズムを定式化し、文脈的発話と対応する対話行動ラベルの両方を同時に考慮することで、構造的依存関係に対するソフト選択を可能にする。
• バックプロパゲーションを用いて、すべてのコンponentsをエンドツーエンドで学習させ、完全な微分可能性とすべてのコンponentの共同最適化を保証する。
• 対話行動の順序的依存関係をモデル化するためにCRF層を用い、注意メカニズムが文脈的関連性に基づいて遷移スコアを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、会話文脈において発話と対話行動の間で階層的意味的表現を効果的に捉えることができるか？
• RQ2 局所的発話特徴を超える依存関係をモデル化することで、構造化注意メカニズムは対話行動認識をどの程度向上させられるか？
• RQ3 注意メカニズムとより豊富なCRF構造的依存関係を統合することで、標準CRFや注意のみのモデルよりも性能が向上するか？
• RQ4 構造化注意とメモリ機構を統合したエンドツーエンド学習により、人的アノテータとの性能差を縮小できるか？
• RQ5 標準ベンチマーク（SWDAおよびMRDA）において、提案手法は最先端の手法と比較してどのように差をつけるか？

主な発見

• 提案されたCRF-ASNモデルは、Switchboard対話行動（SWDA）およびMeeting Recorder対話行動（MRDA）ベンチマークデータセットの両方で最先端の性能を達成した。
• SWDAデータセットでは、人的アノテータの精度から2%以内の性能を達成し、人的水準に近い性能を示した。
• 階層的意味的推論とメモリ機構の統合により、発話ターン間での長距離依存関係のモデル化が顕著に向上した。
• CRF層内に統合された構造化注意メカニズムは、隣接する発話とその対話行動ラベル間の文脈的影響を効果的に捉えた。
• F1スコアおよび精度の両面で、DRLM-Conditional、LSTM-Softmax、RCNNといった既存のSOTA手法を上回った。
• エンドツーエンド学習戦略により、発話表現と構造的予測の両方を効果的に共同最適化でき、手作業特徴抽出の必要がなくなった。