[論文レビュー] Multi-level Gated Recurrent Neural Network for Dialog Act Classification

Wei Li, Yunfang Wu|arXiv (Cornell University)|Oct 4, 2019

Topic Modeling参考文献 31被引用数 12

ひとこと要約

本稿では、テキスト的・文脈的・非テキスト的特徴を統合することで対話行動（DA）分類を向上させる、マルチレベルゲーテッド再帰ニューラルネットワーク（GRNN）を提案する。文脈レベルおよび会話レベルの依存関係をモデル化する二段階のGRNNに加え、非テキスト的ヒントを処理する全結合ネットワークを用いることで、Switchboard 対話行動（SWDA）データセットで79.37%の精度を達成し、従来の最先端手法より6%以上高い性能を示し、短く曖昧な発話の分類において顕著な向上を実現した。

ABSTRACT

In this paper we focus on the problem of dialog act (DA) labelling. This problem has recently attracted a lot of attention as it is an important sub-part of an automatic question answering system, which is currently in great demand. Traditional methods tend to see this problem as a sequence labelling task and deals with it by applying classifiers with rich features. Most of the current neural network models still omit the sequential information in the conversation. Henceforth, we apply a novel multi-level gated recurrent neural network (GRNN) with non-textual information to predict the DA tag. Our model not only utilizes textual information, but also makes use of non-textual and contextual information. In comparison, our model has shown significant improvement over previous works on Switchboard Dialog Act (SWDA) task by over 6%.

研究の動機と目的

• 従来のモデルが文脈的および非語彙的情報の欠如により失敗する短く曖昧な発話における対話行動分類の課題に対処すること。
• 長距離依存関係を無視し、笑いや沈黙などの非テキスト的特徴を統合できない従来のニューラルモデルの限界を克服すること。
• 会話文脈の階層的モデリングとマルチモーダル特徴の統合により、Switchboard 対話行動（SWDA）コーパスにおける性能を向上させること。
• 対話行動における文脈的および非言語的信号のエンドツーエンド学習を可能にすることで、手動による特徴工学の依存度を低減すること。

提案手法

• 下位層GRUが個々の文表現を処理する一方で、上位層GRUが会話のターン間の長距離依存関係を捉える二段階のGRNNアーキテクチャを採用する。
• 非テキスト的特徴（例：笑い、沈黙）を別個の全結合ニューラルネットワークで処理し、その隠れ層を文表現に連結して上位層GRUの入力に供給する。
• 下位層GRUの入力として単語埋め込みを用い、その後にsoftmax層を配置して各タイムステップでのDAラベルを予測する。
• 下位GRUからの文レベル表現と非テキスト的特徴を組み合わせ、その出力を上位GRUに供給することで、文脈的ダイナミクスをモデル化する。
• 交差エントロピー損失を用いて、テキスト的・文脈的・非言語的コンponentsを統合的に最適化するエンドツーエンド学習でモデルを訓練する。
• CNN、単一GRU、ハイブリッドモデルなどのバリエーションを比較し、特にマルチレベルGRUおよび非テキスト的特徴の寄与度をアブレーションする。

実験結果

リサーチクエスチョン

• RQ1 マルチレベルGRNNアーキテクチャは、対話行動分類において文レベルの意味と長距離会話レベルの依存関係を効果的にモデル化できるか？
• RQ2 笑いや沈黙などの非テキスト的特徴は、短く曖昧な発話における対話行動予測精度をどの程度向上させるか？
• RQ3 階層的GRNNアーキテクチャに非テキスト的特徴を統合した場合、テキスト的または文脈的信号のみを用いるモデルと比較して、どの程度優れているか？
• RQ4 提案手法は、特に短く文脈依存の強い発話を分類する際、SWDAベンチマークで既存の最先端手法を上回るか？
• RQ5 下位層GRU（文のモデリング）、上位層GRU（文脈のモデリング）、非テキスト的特徴ネットワークの各コンponentが全体の性能に果たす相対的寄与度はどの程度か？

主な発見

• 非テキスト的特徴を統合した提案マルチレベルGRNNは、SWDAデータセットで79.37%の精度を達成し、従来の最先端手法（73.1%）より6.27%の絶対的向上を示した。
• 上位層GRNN単体でも非テキスト的特徴を組み合わせることで5%以上の性能向上を達成し、長距離依存関係を捉える上でその重要性が示された。
• CNNベースラインより11.12ポイント（68.25% vs. 79.37%）高い性能を示し、順序的な対話行動に再帰的モデリングが優れていることを実証した。
• 非テキスト的特徴を統合することで、CNNベースラインでは2.61%、単一レベルGRNNでは2.15%の精度向上が得られ、短い発話の曖昧性解消に有効であることが示された。
• 「Okay」のような曖昧な短い発話を正しく「応答受容」（bk）として分類する一方で、単一レベルGRNNベースラインは「その他」（fo_o_fw_by_bc）に誤分類していた。
• アブレーションスタディにより、マルチレベルGRNN構造が不可欠であることが確認された：CNN+GRNNの変種は77.14%であったのに対し、完全なマルチレベルGRNN+非テキスト的特徴モデルでは79.37%に達した。