[論文レビュー] A Dual-Attention Hierarchical Recurrent Neural Network for Dialogue Act Classification

Ruizhe Li, Chenghua Lin+3 more|arXiv (Cornell University)|Oct 22, 2018

Topic Modeling参考文献 40被引用数 6

ひとこと要約

本稿では、対話行動（DA）と発話トピックを補助タスクとして統合してDA分類を向上させるため、CRFを備えた二重アテンション階層的RNN（DAH-CRF）を提案する。LDAを用いたトピック情報と二重アテンションメカニズムを活用することで、DAとトピックの相互作用を捉え、SWDA、DyDA、MRDAの3つの公開データセットにおいて最先端またはそれ以上の性能を達成する。

ABSTRACT

Recognising dialogue acts (DA) is important for many natural language processing tasks such as dialogue generation and intention recognition. In this paper, we propose a dual-attention hierarchical recurrent neural network for DA classification. Our model is partially inspired by the observation that conversational utterances are normally associated with both a DA and a topic, where the former captures the social act and the latter describes the subject matter. However, such a dependency between DAs and topics has not been utilised by most existing systems for DA classification. With a novel dual task-specific attention mechanism, our model is able, for utterances, to capture information about both DAs and topics, as well as information about the interactions between them. Experimental results show that by modelling topic as an auxiliary task, our model can significantly improve DA classification, yielding better or comparable performance to the state-of-the-art method on three public datasets.

研究の動機と目的

• 既存のディープラーニングモデルで十分に活用されていない文脈的事前知識としての発話レベルのトピック情報を組み込むことで、対話行動分類の性能を向上させること。
• 平坦なニューラルネットワークアーキテクチャの限界を補うために、文字、語、発話、会話のレベルで階層的に会話をモデル化すること。
• 対話行動とトピックの間の依存関係およびそれらの相互作用を捉える、タスク固有の二重アテンションメカニズムを開発すること。
• 高価な人手によるトピックラベルに依存するのを減らすために、自動的な発話レベルのトピックラベル付けに非教師ありLDAを用いること。
• 複数の公開対話行動分類ベンチマークにおいて、最先端手法と同等または優れた性能を達成すること。

提案手法

• 入力を文字、語、発話、会話の複数レベルで処理する階層的再帰ニューラルネットワークを設計し、自然な会話構造を保持する。
• 各発話内における対話行動関連表現とトピック関連表現を別々に注目する二重アテンションメカニズムを導入する。
• 人手によるラベルなしで発話レベルのトピックラベルを自動的に推定するためにLDAを用い、モデルの汎化性能を向上させる。
• 階層的RNNの上流に条件付き確率場（CRF）層を統合し、対話行動間の逐次的依存関係をモデル化する。
• 主タスクは対話行動分類、副タスクはトピック予測である、マルチタスク学習の目的関数でモデルをエンドツーエンドに学習する。
• タスク固有のアテンションヘッドを適用し、DAおよびトピック予測に適した語を動的に重み付けすることで、表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トピックコンテキストを無視するモデルと比較して、発話トピックを補助タスクとしてモデル化することで、対話行動分類性能が向上するか？
• RQ2 対話行動とトピックを同時にモデル化する二重アテンションメカニズムは、表現学習および分類精度にどのような影響を与えるか？
• RQ3 意味的に類似した対話行動（例：'bk' と 'b'）の誤分類を、どの程度トピック情報の組み込みが軽減するか？
• RQ4 平坦なRNNやCNNベースのモデルと比較して、階層的アーキテクチャは会話内の長距離依存関係をより効果的に捉えられるか？
• RQ5 人手によるラベルなしで、非教師ありLDAによるトピックモデリングが、トピックコンテキストの代理として効果的に機能するか？

主な発見

• 補助タスクとしてのトピック情報のモデル化は、SWDA、DyDA、MRDAの3つのデータセットすべてで、対話行動分類精度を顕著に向上させる。
• 本モデルは、すべてのデータセットで最先端手法（Raheja and Tetreault, 2019）と同等または優れた分類精度を達成する。
• 最も顕著な性能向上は 'bk'（応答アスクノリッジ）クラスで観察され、11.7%の向上を示す。これは主に 'bk' が 'b'（バックチャンネルアスクノリッジ）として誤分類されるのを減らしたためである。
• トピックの手がかりを活用することで、'bk' と 'b' の間の誤分類が軽減される。'bk' 発話は、音楽や運動といった個人のレジャー関連トピックと頻繁に関連している。
• 'qo'（オープンクエスチョン）および 'qw'（wh質問）クラスでは、ベースラインより性能が劣る。これは、これらのクラス間で類似したトピック分布があるため、識別性が低下する可能性がある。
• アテンション可視化の結果、DAH-CRF+LDA uttは、対話行動に関連するキーワード（例：'please', 'tell', 'if', 'reasonable'）をより適切に特定しているのに対し、ベースラインは 'because' や 'uh-huh' といったフィラー語に過剰に注目していることが確認された。