[論文レビュー] Structure Regularized Bidirectional Recurrent Convolutional Neural Network for Relation Classification

Wen Ji|arXiv (Cornell University)|Nov 6, 2017

Topic Modeling参考文献 13被引用数 6

ひとこと要約

本稿では、依存木構造と構造正則化を活用して、中国語のSanwenおよびSemEval-2010データセットにおける関係分類性能を向上させる、構造正則化付き双方向再帰的畳み込みニューラルネットワーク（SR-BRCNN）を提案する。短い依存パス（SDP）に沿って関係表現学習を強化する手法により、ベースラインモデル比でF₁スコアが10.3ポイント向上した。

ABSTRACT

Relation classification is an important semantic processing task in the field of natural language processing (NLP). In this paper, we present a novel model, Structure Regularized Bidirectional Recurrent Convolutional Neural Network(SR-BRCNN), to classify the relation of two entities in a sentence, and the new dataset of Chinese Sanwen for named entity recognition and relation classification. Some state-of-the-art systems concentrate on modeling the shortest dependency path (SDP) between two entities leveraging convolutional or recurrent neural networks. We further explore how to make full use of the dependency relations information in the SDP and how to improve the model by the method of structure regularization. We propose a structure regularized model to learn relation representations along the SDP extracted from the forest formed by the structure regularized dependency tree, which benefits reducing the complexity of the whole model and helps improve the $F_{1}$ score by 10.3. Experimental results show that our method outperforms the state-of-the-art approaches on the Chinese Sanwen task and performs as well on the SemEval-2010 Task 8 dataset\footnote{The Chinese Sanwen corpus this paper developed and used will be released in the further.

研究の動機と目的

• 命名エンティティ認識および関係分類における低リソースで論理的でない中国語のSanwenテキストの課題に対処すること。
• 最短依存パス（SDP）における依存構造情報を利用することで、関係分類性能を向上させること。
• BRCNNのような系列ベースのモデルにおける構造正則化の有効性を検証し、一般化性能の向上と複雑さの低減を図ること。
• 今後の低リソースNLPタスク研究を支援するため、新しい大規模な中国語Sanwenコーパスの開発。

提案手法

• モデルは、二つのエンティティ間の最短依存パス（SDP）を符号化するために、双方向再帰的畳み込みニューラルネットワーク（BRCNN）を用いる。
• 構造正則化は、前置詞を用いて依存木を部分木に分解するか、ランダムなノード削除を実行することで適用され、モデルの複雑さを低減する。
• 前置詞句を分解ポイントとして用いることで、部分木内の内部整合性を保持し、構造的情報を効果的に保持する。
• 正則化されたSDPに沿って、双方向LSTMとCNN層を組み合わせることで、関係表現を学習する。
• 前置詞に基づく分解が、ランダム正則化や標点による切断よりも構造的関連性をより効果的に保持していることが示された。
• フレームワークは、新たにリリースされた中国語SanwenコーパスおよびSemEval-2010ベンチマークの両方で、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 構造正則化は、BRCNNモデルにおける関係分類性能をどのように向上させるか？
• RQ2 複雑さを低減しつつ構造的関連性を維持するための依存木の最適な分解方法は何か？
• RQ3 中国語テキストにおいて、前置詞句は依存木正則化のための効果的な分解ポイントとして機能するか？
• RQ4 提案されたSR-BRCNNモデルは、低リソースで論理的でない中国語Sanwenテキストにおいて、最先端モデルと比較してどのように性能を発揮するか？
• RQ5 新規に開発された中国語Sanwenコーパスの使用は、関係分類におけるモデルの学習および評価をどの程度向上させるか？

主な発見

• 提案されたSR-BRCNNモデルは、中国語Sanwenデータセットにおいて、ベースラインモデル比でF₁スコアが10.3ポイント向上した。
• 依存木の前置詞に基づく分解は、ランダム分解や標点による切断よりも優れた性能を示した。
• 構造正則化は、モデルの複雑さを低減しつつ、性能を維持または向上させた。これは、系列モデリングにおける有効性を示している。
• モデルはSemEval-2010タスク8ベンチマークでも競争力のある性能を示し、ドメインを超えた一般化能力を確認した。
• 726編の記事と13.2MBのテキストを含む新たに開発された中国語Sanwenコーパスは、低リソース中国語NLPデータセットの不足を解消した。
• 正則化による構造的情報を組み込むことで、特に複雑で論理的でないテキスト（中国語Sanwen）における関係表現学習が強化されることが実証された。