[論文レビュー] Semantic Relation Classification via Convolutional Neural Networks with Simple Negative Sampling

Kun Xu, Yansong Feng+2 more|arXiv (Cornell University)|Jun 25, 2015

Topic Modeling参考文献 9被引用数 24

ひとこと要約

この論文では、主題と目的語エンティティ間の最短依存パスに注目することで、頑健な意味的関係表現を学習する畳み込みニューラルネットワーク（CNN）モデルを提案する。同時に、主題・目的語の割り当てを向上させるために、逆順の依存パスを用いた新しいネガティブサンプリング戦略を導入している。この手法は、SemEval-2010 Task 8データセットで最先端の性能を達成し、語彙特徴を併用した場合にF1スコア85.6%、ネガティブサンプリングのみで85.4%を達成した。

ABSTRACT

Syntactic features play an essential role in identifying relationship in a sentence. Previous neural network models often suffer from irrelevant information introduced when subjects and objects are in a long distance. In this paper, we propose to learn more robust relation representations from the shortest dependency path through a convolution neural network. We further propose a straightforward negative sampling strategy to improve the assignment of subjects and objects. Experimental results show that our method outperforms the state-of-the-art methods on the SemEval-2010 Task 8 dataset.

研究の動機と目的

• 関係抽出における長距離の主題・目的語から生じる不要な句構造的情報を取り除くこと。
• 関係の方向性をモデル化することで、関係分類における主題・目的語の割り当てを改善すること。
• 依存パス構造を用いて、関係表現学習の頑健性を向上させること。
• 逆順の依存パスを基にしたシンプルで効果的なネガティブサンプリング戦略を導入すること。
• SemEval-2010 Task 8ベンチマークにおいて、既存のニューラルネットワークモデルを上回ること。

提案手法

• モデルは、2つの名詞（主題および目的語）間の最短依存パスを入力として処理し、単語、依存エッジの方向、ラベルを含む。
• 依存パス内の各ノードは、学習済みの埋め込み行列 $ W_e $ を用いたルックアップテーブルによって埋め込み表現に変換される。
• 固定サイズのウィンドウを用いた畳み込み層が、各ノードの周囲の局所的特徴を捉え、線形変換 $ W_1 $ を用いて隠れ特徴を抽出する。
• 畳み込み特徴マップに対してマックスプーリングを適用し、固定サイズのグローバル表現ベクトル（サイズ $ n_1 $）を生成する。
• 双曲正弦関数（tanh）非線形活性化関数を用いた第2の隠れ層が、表現をさらに精練し、その後ソフトマックス分類器に供給される。
• 新規なネガティブサンプリング戦略として、目的語から主題への逆順依存パス（オブジェクト→サブジェクト）をネガティブ例として使用する。

実験結果

リサーチクエスチョン

• RQ1 最短依存パスに注目することで、ニューラルモデルにおける関係表現学習が向上するか？
• RQ2 逆順の依存パスをネガティブ例として組み込むことで、関係分類における主題・目的語の割り当てが向上するか？
• RQ3 シンプルなネガティブサンプリング戦略が、ランダムネガティブサンプリングや既存手法を上回るか？
• RQ4 依存ラベルと方向性を含めることで、単純なパス表現と比較してモデル性能がどのように変化するか？
• RQ5 提案手法が語彙的特徴に依存せず、外部特徴なしで最先端性能を達成できる程度に一般化できるか？

主な発見

• WordNetと名詞の周辺語彙を併用した場合、提案モデルの depLCNN+NS は SemEval-2010 Task 8 テストセットで F1 スコア 85.6% を達成し、先行する最先端システムを上回った。
• 追加の語彙的特徴を用いない場合でも、depLCNN+NS は F1 スコア 84.0% を達成し、外部特徴に依存する MVRNN+ や CNN+ を上回った。
• 逆順依存パスを用いたネガティブサンプリング戦略は、ベースモデル（81.3% から 83.4% に）F1 スコアを 2.1% 向上させ、語彙特徴を併用した場合にも 1.9% 向上させた。
• 逆順依存パスをネガティブ例として使用した手法は、NYTデータセットからのランダムネガティブサンプリング（83.5%）を上回り、開発セットで 85.4% の F1 スコアを達成した。
• モデルは、依存パスの方向性が主題・目的語の割り当てに強力な手がかりを提供することを示し、逆順パスからの学習が一般化性能を向上させることを裏付けた。
• アブレーションスタディの結果、ラベル情報がエッジの方向性のみを用いたモデルと比較して顕著に性能向上を示し、ラベル情報が識別力を高めることを確認した。