[論文レビュー] Dependency-based Convolutional Neural Networks for Sentence Embedding

Mingbo Ma, Liang Huang+2 more|arXiv (Cornell University)|Jul 7, 2015

Topic Modeling参考文献 21被引用数 74

ひとこと要約

本稿では、文における長距離依存関係を捉えるために構文的依存木を活用する依存ベースの畳み込みニューラルネットワーク（DCNN）を提案する。順序付きn-gramの代わりに木構造のn-gramを用いることで、感情分析および質問分類タスクで性能を向上させ、TRECデータセットにおいて最先端の精度を達成し、手動で特徴を設計した手法を上回る。

ABSTRACT

In sentence modeling and classification, convolutional neural network approaches have recently achieved state-of-the-art results, but all such efforts process word vectors sequentially and neglect long-distance dependencies. To exploit both deep learning and linguistic structures, we propose a tree-based convolutional neural network model which exploit various long-distance relationships between words. Our model improves the sequential baselines on all three sentiment and question classification tasks, and achieves the highest published accuracy on TREC.

研究の動機と目的

• 文における長距離依存関係を捉えることのできない順序付きCNNの限界を解消すること。
• 構文的構造（依存木）を深層学習に統合し、文のモデリングを向上させること。
• 密な単語埋め込みを用いて木構造のn-gramにおけるデータスパarsity問題を克服すること。
• 手動で特徴を設計するのではなく、言語的構造を自動で学習する手法を開発すること。
• 特に長距離依存関係を含む状況下で、文の分類タスクにおいて優れた性能を示すこと。

提案手法

• モデルは表面的なn-gramの代わりに、依存解析木から得られる木構造のn-gramを用いる。
• 各単語に対して、固定深さまで親、曾孫など上位の祖先を連結したシーケンスを構築する。
• 畳み込みフィルタをReLUまたはシグモイド活性化関数を用いて、これらの祖先パスのシーケンスに適用する。
• フィルタの重みは文内のすべての位置で共有されるため、パラメータの効率が向上する。
• 各単語の祖先パスから生成されたすべての特徴マップに対して最大プーリングを適用し、最終的な文の表現を形成する。
• 単語埋め込みを入力として、バックプロパゲーションを用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 依存ベースの畳み込みネットワークは、長距離構文的依存関係を捉えることで文の表現を向上させることができるか？
• RQ2 順序付きn-gramの代わりに木構造のn-gramを用いることで、文の分類タスクにおける性能が向上するか？
• RQ3 TRECや感情分析のような複雑な構文的構造を有するデータセットにおいて、モデルはどのように性能を発揮するか？
• RQ4 手動で特徴を設計しない場合でも、順序付きCNNを上回る性能を発揮できるか？
• RQ5 解析木の品質が、特にノイズが多いまたは非公式なテキストにおいてモデルの性能に与える影響は何か？

主な発見

• DCNNモデルは、TRECデータセットにおいて、これまでに発表された最高の精度を達成し、すべての先行手法（包括的な特徴工学を含む）を上回った。
• TRECの細分化分類タスクにおいて、モデルは順序付きCNNを著しく上回り、長距離依存関係の処理が優れていることを示した。
• 「What flower」を「場所」と誤分類する例（「Hawaii」と「state」が誤った局所的n-gramを形成する）において、ベースラインCNNが失敗するのに対し、モデルは正しく分類した。
• 誤差解析の結果、モデルは解析精度の高いフォーマルで整ったテキスト（例：TREC）ではより優れた性能を発揮するが、ノイズが多いまたは非公式なテキスト（例：Rotten Tomatoes）では性能が劣ることがわかった。
• モデルは「ROOT – moving – stories」のような言語的に意味のある木構造の3-gramを、肯定的センチメントの文で正しく捉えた。
• 解析の不正確さによる誤りは一部存在するが、DCNNは全4つの評価タスクにおいて、順序付きCNNベースラインを一貫して上回った。