[論文レビュー] Local Contextual Attention with Hierarchical Structure for Dialogue Act Recognition

Zhigang Dai, Jinhua Fu+4 more|arXiv (Cornell University)|Mar 12, 2020

Topic Modeling参考文献 34被引用数 13

ひとこと要約

本稿では、会話行動認識のための局所的文脈的注目を強化するために、学習可能なガウス型バイアスを備えた階層的自己注意モデルを提案する。相対的な位置情報を利用して発話同士の依存関係を明示的にモデル化する。本手法は、オンラインおよびオフライン設定の両方で、遠く離れた発話をノイズとして低減し、文脈モデリングを改善することで、Switchboardで80.34%、DailyDialogで85.81%の最先端の正確性を達成する。

ABSTRACT

Dialogue act recognition is a fundamental task for an intelligent dialogue system. Previous work models the whole dialog to predict dialog acts, which may bring the noise from unrelated sentences. In this work, we design a hierarchical model based on self-attention to capture intra-sentence and inter-sentence information. We revise the attention distribution to focus on the local and contextual semantic information by incorporating the relative position information between utterances. Based on the found that the length of dialog affects the performance, we introduce a new dialog segmentation mechanism to analyze the effect of dialog length and context padding length under online and offline settings. The experiment shows that our method achieves promising performance on two datasets: Switchboard Dialogue Act and DailyDialog with the accuracy of 80.34\% and 85.81\% respectively. Visualization of the attention weights shows that our method can learn the context dependency between utterances explicitly.

研究の動機と目的

• 発話行動認識におけるノイズの多い遠方の発話依存関係に起因する課題を、局所的な文脈的関係をモデル化することで解決すること。
• 発話間の相対的位置情報を符号化する学習可能なガウス型バイアスを自己注意機構に組み込むことで、性能を向上させること。
• オンラインおよびオフライン設定の両方で、会話長および文脈パディング長がモデル性能に与える影響を分析すること。
• 文脈ウィンドウ効果の体系的評価を可能にするための会話分割機構を開発すること。
• 局所的文脈的注目が、会話行動分類におけるモデルのロバスト性および解釈可能性を向上させることを示すこと。

提案手法

• 自己注意メカニズムを用いて発話レベルおよび会話レベルの符号化を統合する階層的ディープラーニングモデルを設計する。
• 相対的位置に基づいて局所的な発話ペアに注目を向けるために、学習可能なガウス型バイアスを導入することで、注目メカニズムを改訂する。
• ガウス型バイアスは、発話間の相対的距離の関数として計算され、注目が近くの文脈に集中するように誘導する。
• 異なる会話長および文脈パディング戦略における性能評価を可能にする、新しい会話分割機構を導入する。
• 窓サイズおよび文脈長に関するアブレーションスタディを実施しながら、2つのベンチマークデータセット（SwitchboardおよびDailyDialog）上でエンドツーエンドにモデルを学習する。
• オフラインおよびオンライン推論設定の両方をサポートし、異なる文脈パディング長での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なガウス型バイアスを用いて相対的位置情報を組み込むことで、会話行動認識における注目集中がどのように向上するか？
• RQ2 オンラインおよびオフライン設定の両方で、会話長および文脈パディング長がモデルの正確性に与える影響は何か？
• RQ3 標準的な自己注意と比較して、局所的文脈的注目は発話依存関係をどのように効果的に捉えているか？
• RQ4 提案された会話分割機構は、文脈ウィンドウサイズに起因する性能変動を的確に分離・分析できるか？
• RQ5 局所的文脈をモデル化することで、会話系列における無関係な遠方の発話からのノイズが低減されるか？

主な発見

• 提案された局所的文脈的注目メカニズムは、会話行動認識の正確性を顕著に向上させ、Switchboardでは80.34%、DailyDialogでは85.81%の正確性を達成した。
• 学習可能なガウス型バイアスを備えたモデルは、視覚化の結果から遠く離れた発話（例：位置0と7）間の高い注目スコアが抑制されていることが示された。
• DailyDialogでは、文脈パディングが2発話以上になると性能が頭打ちになることが判明し、短い文脈ウィンドウを超えると利得が減少することが示された。
• LSTM+LC Attentionは、標準的な注目および双方向LSTMベースラインを上回り、特に制限された文脈でのオンライン設定において顕著な性能向上を示した。
• 最適なウィンドウサイズを用いることで、さまざまな会話長にわたってモデルのロバスト性と安定性が維持され、性能低下が最小限に抑えられた。
• 視覚化により、改訂された注目メカニズムが重みを対角線に沿って集中させていることが確認され、会話における局所的依存関係の言語的直感と整合的であることが示された。