[論文レビュー] Improved Relation Classification by Deep Recurrent Neural Networks with Data Augmentation

Yan Xu, Ran Jia+5 more|arXiv (Cornell University)|Jan 14, 2016

Topic Modeling参考文献 16被引用数 124

ひとこと要約

本論文は、最短依存パス上に複数のRNN層を積み重ねたDRNNを用いて関係分類を行い、方向性に基づくデータ拡張を用いて性能を向上させ、augmentationを用いてSemEval-2010 Task 8で86.1%のF1を達成した。

ABSTRACT

Nowadays, neural networks play an important role in the task of relation classification. By designing different neural architectures, researchers have improved the performance to a large extent in comparison with traditional methods. However, existing neural networks for relation classification are usually of shallow architectures (e.g., one-layer convolutional neural networks or recurrent networks). They may fail to explore the potential representation space in different abstraction levels. In this paper, we propose deep recurrent neural networks (DRNNs) for relation classification to tackle this challenge. Further, we propose a data augmentation method by leveraging the directionality of relations. We evaluated our DRNNs on the SemEval-2010 Task~8, and achieve an F1-score of 86.1%, outperforming previous state-of-the-art recorded results.

研究の動機と目的

• 関係分類のために浅いネットワークを超える多段階抽象化を捉えるためにより深いアーキテクチャの利用を動機づける。
• 最短依存パス上で動作するDRNNsを開発し、情報価値の高い統語構造に焦点を当てる。
• 関係性の方向性を活用したデータ拡張戦略を提案し、データのまばらさを緩和する。
• SemEval-2010 Task 8でDRNNsを評価し、従来の最先端手法と比較する。

提案手法

• 二つのエンティティ間の最短依存パス上に複数のRNN層を積み重ねてDRNNsを構築する。
• 4つの情報チャネル（語彙埋め込み、POS埋め込み、文法関係埋め込み、WordNet 埋め込み）を並列のSDPベースのRNNsを通じて処理する。
• 層間の情報伝播を強化するためのクロスレイヤー接続を組み込み、結合後に各層で最大プーリングを適用して結合し、最終的に分類のsoftmaxを適用する。
• サブパスを反転させて逆向きの関係を生成するデータ拡張を導入し、元のサンプルと反転サンプルの両方を含む結合目的関数（＋L2正則化）で訓練する。
• プーリングされた表現に対してクロスエントロピー損失で学習し、ドロップアウトと検証に基づく深さ選択（4層までが有効であると示されている）。

実験結果

リサーチクエスチョン

• RQ1 SDP上のより深い再帰的アーキテクチャが浅いRNN/CNNモデルを超える関係分類を実現できるか。
• RQ2 SDPに焦点を当てることで不要な情報を削ぎ落とし、関係予測のより良い抽象化を促進できるか。
• RQ3 方向性を利用したデータ拡張はデータの sparse性を緩和し、より深いモデルの性能向上を可能にするか。
• RQ4 SemEval-2010 Task 8におけるDRNNsは他の神経アーキテクチャ（CNN、RNN、ハイブリッドモデル）とどう比較されるか。
• RQ5 モデルの深さがパフォーマンスと層間の情報伝播に与える影響はどのようになるか。

主な発見

モデル	特徴量	F1
DRNNs (no augmentation)	Word+POS+GR+WordNet embeddings	84.2
DRNNs (+ data augmentation)	Word+POS+GR+WordNet embeddings	86.1
CNN (SDP-based)	Word embeddings	84.0

• DRNNsは深さ3でデータ拡張なしで84.2%のF1を達成し、深さ4でデータ拡張を行うと86.1%のF1を達成する。
• 逆向きの有向関係によるデータ拡張は性能を大幅に改善し、特にOtherクラスの拡張を避けた場合に効果が大きい。
• 深さ4までのDRNNsはSemEval-2010 Task 8で従来の方法やCNNベースのアーキテクチャを上回り、拡張を用いた最先端となる。
• CNNはこのタスクで深いアーキテクチャの恩恵を受けない一方、深いRNNは拡張を用いて最大4層まで改善を続ける。
• 拡張なしではDRNNsは競合的（深さ3で84.2%のF1）だが、データ拡張は86.1%のF1へと顕著な向上をもたらす。
• このモデルは多チャネルのSDP表現を使用し、上位層が関係関連情報へと焦点を合わせることをプーリング分析で示している。