[論文レビュー] Recurrent Convolutional Neural Networks for Discourse Compositionality

Nal Kalchbrenner, Phil Blunsom|arXiv (Cornell University)|Jun 15, 2013

Topic Modeling参考文献 20被引用数 188

ひとこと要約

本稿では、文レベルの意味構成にハイアラルキカル畳み込みニューラルネットワーク（HCNN）を、会話レベルの相互作用に話者に条件づけられたRNNを組み合わせることで、会話の構成性を扱う新しい再帰的畳み込みニューラルネットワーク（RCNN）を提案する。本モデルは、特徴工学や事前学習を一切行わず、グリーディデコードとエンド・トゥ・エンド学習のみを用いても、73.9%の精度で会話行動分類タスクで最先端の性能を達成した。

ABSTRACT

The compositionality of meaning extends beyond the single sentence. Just as words combine to form the meaning of sentences, so do sentences combine to form the meaning of paragraphs, dialogues and general discourse. We introduce both a sentence model and a discourse model corresponding to the two levels of compositionality. The sentence model adopts convolution as the central operation for composing semantic vectors and is based on a novel hierarchical convolutional neural network. The discourse model extends the sentence model and is based on a recurrent neural network that is conditioned in a novel way both on the current sentence and on the current speaker. The discourse model is able to capture both the sequentiality of sentences and the interaction between different speakers. Without feature engineering or pretraining and with simple greedy decoding, the discourse model coupled to the sentence model obtains state of the art performance on a dialogue act classification experiment.

研究の動機と目的

• 単一文を超えた意味の構成性をモデル化し、語彙レベルから会話レベルへの意味形成を拡張すること。
• 順序的な構造と話者間相互作用を両方捉える、原理的でニューラルネットワークベースの会話構成性アプローチの欠如を是正すること。
• 文レベルの意味的構成と会話レベルのモデリングを統合的に扱うエンド・トゥ・エンドで学習可能なニューラルネットワークフレームワークの構築。
• 会話理解の重要なタスクである会話行動分類において、事前学習や手作業による特徴抽出に依存せずにモデルを評価すること。

提案手法

• 文モデルは、語彙ベクトルに対して特徴別畳み込みを適用するハイアラルキカル畳み込みニューラルネットワーク（HCNN）を用い、文の長さlに対しておおよそ√(2l)の深さで長距離依存性を捉えるように、増加するカーネルサイズを採用する。
• 各畳み込み層は特徴ごとに異なる重みを用いるが、語の間で重みを共有することで、構文解析を明示的に行わずとも語順を保存する。
• 会話モデルは、文モデルを拡張し、現在の文ベクトルと現在の話者のアイデンティティに条件づけられた隠れ状態を持つ再帰的ニューラルネットワーク（RNN）を用いる。
• RNNは交差エントロピー損失とL2正則化を用いて学習され、予測は出力分布上のグリーディデコードにより行われる。
• 語彙ベクトルは事前学習を行わず、ランダムに初期化（25次元）され、モデルは会話行動ラベルから意味的および実用的表現をエンド・トゥ・エンドで学習する。
• 会話レベルの表現は、RCNNの最終隠れ状態から抽出され、これが会話間で実用的類似性を捉えていることが示された。

実験結果

リサーチクエスチョン

• RQ1 構文構造や事前学習に依存せず、階層的畳み込みアーキテクチャが文レベルの意味構成を効果的にモデル化できるか。
• RQ2 話者に条件づけられた再帰的ネットワークが、会話の順序的構造と話者間相互作用の両方を捉えることができるか。
• RQ3 エンド・トゥ・エンドで学習可能なRCNNモデルが、特徴工学や事前学習なしに会話行動分類で最先端の性能を達成できるか。
• RQ4 学習された会話ベクトル表現が、単なる意味的類似性ではなく、実用的類似性をどの程度反映しているか。

主な発見

• RCNNモデルは、Switchboard会話行動コーパスにおいて73.9%の精度を達成し、最も優れた先行手法（LM-HMM trigram：71.0%）を上回った。
• アンビグアス・ベースライン（31.5%）やランダムベースライン（2.4%）を含む、すべてのベースラインモデルを上回った。
• RCNNが生成する会話ベクトル表現は、実用的類似性を捉えており、最近接例では意味的に異なる発話が、類似した会話行動の役割によってグループ化された。
• 事前学習や特徴工学なしに、交差エントロピー損失とグリーディデコードのみに依存してSOTAの結果を達成した。
• アブレーションスタディの結果、RNNの深さをd=2を超えて増加させても性能向上が見られず、本タスクには短期間の文脈が十分であることが示された。
• 学習された表現は実用的役割を反映しており、'自分の車を修理して'や'お金の管理をして'といった語句は、意味的類似性ではなく会話における機能的役割によってグループ化された。