[論文レビュー] Dialogue Act Classification with Context-Aware Self-Attention

Vipul Raheja, Joel Tetreault|arXiv (Cornell University)|Apr 4, 2019

Speech and dialogue systems参考文献 29被引用数 60

ひとこと要約

提案された階層モデルは、対話行為分類のための文脈認識セルフアテンションを用い、 utterance-レベルの表現を会話全体の文脈とCRFデコードと統合することで、SwDAで最先端の結果を、MRDAでも競争力のある結果を達成します。

ABSTRACT

Recent work in Dialogue Act classification has treated the task as a sequence labeling problem using hierarchical deep neural networks. We build on this prior work by leveraging the effectiveness of a context-aware self-attention mechanism coupled with a hierarchical recurrent neural network. We conduct extensive evaluations on standard Dialogue Act classification datasets and show significant improvement over state-of-the-art results on the Switchboard Dialogue Act (SwDA) Corpus. We also investigate the impact of different utterance-level representation learning methods and show that our method is effective at capturing utterance-level semantic text representations while maintaining high accuracy.

研究の動機と目的

• 会話レベルの文脈を活用して対話行為（DA）分類を改善する動機づけ。
• 発話レベルの表現と文脈認識セルフアテンションを組み合わせた階層モデルを開発する。
• 会話レベルのRNNとCRFデコーダを用いて前発話の文脈を取り込み、ラベル依存関係をモデル化する。
• SwDAとMRDAデータセットでモデルを評価し、発話表現学習手法を分析する。

提案手法

• 各発話内の語をエンコードする発話レベルRNNを用い、GloVe、ELMo、文字レベルCNNの埋め込みを組み合わせる。
• 前の会話状態を取り込む文脈認識セルフアテンション機構を適用して発話表現を生成する。
• 発話埋め込みに対して会話レベルの双方向GRUを構築し、CRF層を通じて対話行為列を共同デコードする。
• 異なる発話表現学習アプローチを試す（TF-IDF GloVeベースライン、Skip-Thought、Paragraph Vectors、および共同学習表現）。
• オプションとして注意機構のバリアント（語レベルの注意、自己注意）を比較し、文脈が性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈認識セルフアテンションは非文脈的表現と比較してDA分類の発話表現を改善するか。
• RQ2 会話レベルの文脈（前の隠れ状態）を取り入れるとSwDAとMRDAの分類精度にどう影響するか。
• RQ3 異なる発話表現学習手法が全体のモデル性能に与える影響は何か。
• RQ4 この階層的設定におけるCRFデコードは系列ラベリング性能にどのように影響するか。

主な発見

モデル	SwDA	MRDA
TF-IDF GloVe	66.5	78.7
Kalchbrenner and Blunsom (2013)	73.9	-
Lee and Dernoncourt (2016)	73.9	84.6
Khanpour et al. (2016)	75.8	86.8
Ji et al. (2016)	77.0	-
Shen and Lee (2016)	72.6	-
Li and Wu (2016)	79.4	-
Ortega and Vu (2017)	73.8	84.3
Tran et al. (2017)	74.5	-
Kumar et al. (2018)	79.2	90.9
Chen et al. (2018)	81.3	91.7
Our Method	82.9	91.1
Human Agreement	84.0	-

• 提案手法はSwDAで82.9%の精度、MRDAで91.1%の精度を達成し、複数のベースラインや多くの従来手法を上回る。
• 我々の手法はSwDAの最先端を1.6%上回り、MRDAには0.6%の範囲で到達する。
• 文脈情報は特にCRFデコードと組み合わせた場合に性能を大幅に向上させる。
• 文脈認識セルフアテンションは非文脈的またはベースライン表現よりも良い発話表現を生む。
• 文字レベル埋め込みと豊富な発話表現（GloVe/ELMo）は両方のデータセットの改善に寄与する。