[論文レビュー] ETH-DS3Lab at SemEval-2018 Task 7: Effectively Combining Recurrent and Convolutional Neural Networks for Relation Classification and Extraction

Jonathan Rotsztejn, Nora Hollenstein+1 more|arXiv (Cornell University)|Apr 5, 2018

Natural Language Processing Techniques参考文献 18被引用数 3

ひとこと要約

本論文は、SemEval-2018 タスク7における関係分類および抽出で最先端の性能を達成するために、分野特化型の単語埋め込みと広範な前処理を組み合わせたハイブリッドディープラーニングシステムを提示する。アンサンブルモデルは4つのサブタスクのうち3つで1位を獲得し、クリーンデータではF1スコア81.7%、ノイズありデータでは90.4%を記録した。これは、CNNとRNNアーキテクチャを組み合わせ、長さに応じた融合戦略とルールベースの後処理を適用した手法の有効性を示している。

ABSTRACT

Reliably detecting relevant relations between entities in unstructured text is a valuable resource for knowledge extraction, which is why it has awaken significant interest in the field of Natural Language Processing. In this paper, we present a system for relation classification and extraction based on an ensemble of convolutional and recurrent neural networks that ranked first in 3 out of the 4 subtasks at SemEval 2018 Task 7. We provide detailed explanations and grounds for the design choices behind the most relevant features and analyze their importance.

研究の動機と目的

• 科学的文献における関係分類および抽出のための頑健なニューラルネットワークシステムの開発。関係は高度に専門的かつ文脈依存的である。
• 畳み込み型と再帰型アーキテクチャの長所を組み合わせることで、クリーンデータおよびノイズありデータの両方での性能向上を図る。
• 長文における関係検出の課題に対処するため、長さに応じた重み付けと文の切り出しを組み込む。
• 分野特化型の単語埋め込みとデータ拡張技術を用いることで、モデルの汎化性能を向上させる。
• 対称的かつ重複する関係に対するアノテーションスキームとの一貫性を保つために、ルールベースの後処理を実施する。

提案手法

• 本システムは、複数のフィルタ幅とマックスプーリングを備えた1次元CNNと、前向きおよび後向き符号化を有する双方向LSTMネットワークの2つの独立モデルのアンサンブルを採用する。
• 単語埋め込みは、科学的NLP論文（arXivおよびACL ARC）から抽出した9100万トークンのデータ上で学習され、タスクに合わせて微調整され、最適な次元数200が選択された。
• 文はエンティティ間の範囲に限定され、長さの最大閾値19語が適用され、長文における誤検出の低減が図られた。
• 動的で長さ依存の融合戦略により、文の長さに応じてRNN予測に高い重みを割り当てる。式は $ w_{rnn,i} = 0.5 + \text{sign}(s_i) \cdot s_i^2 $ で表され、$ s_i $ は文の長さを正規化した値である。
• 複数のランダムシードからの出力を平均化することで多様性のあるアンサンブルを形成し、汎化性能と耐障害性を向上させる。
• 後処理により、無効な COMPARE 予測を除外し、重複するエンティティ関係を、優先順位（短い関係から、次にクラス頻度、最後にランダム）で解決する。

実験結果

リサーチクエスチョン

• RQ1 分野特化型のテキストにおける関係分類において、CNNとRNNアーキテクチャの組み合わせは個々のモデルと比較してどの程度有効であるか？
• RQ2 分野特化型の単語埋め込みとデータ前処理は、リソースが限られたノイズあり関係抽出タスクにおいて、どの程度性能を向上させるか？
• RQ3 CNNとRNNの予測を長さに応じて融合する戦略は、過学習を避けて長文における性能を向上させられるか？
• RQ4 データ拡張と文の反転処理は、リソースが限られた関係分類の状況下で、モデルの汎化性能にどのように影響するか？
• RQ5 アンサンブル学習と後処理は、SemEval-2018 タスク7で最先端の結果を達成するために果たす役割は何か？

主な発見

• アンサンブルモデルは、サブタスク1.1（クリーンデータ）でF1スコア81.7%を達成し、14チーム中1位となった。
• サブタスク1.2（ノイズありデータ）では、F1スコア90.4%を記録し、すべての提出物の中で最高スコアを達成した。
• 関係抽出と分類の統合タスク（サブタスク2.C）では、F1スコア49.3%を達成し、1位となった。
• 関係抽出専用（サブタスク2.E）ではF1スコア48.8%で2位となり、より困難な抽出タスクにおいても強力な性能を示した。
• 特徴量の除去実験では、データの組み合わせ（CSD）、文の反転（RS）、データ生成（GD）それぞれが、モデルタイプに依存せず、性能向上に顕著な寄与を示した。
• 長さに忦じた融合戦略により、長文における性能が向上した。これは、この文脈においてRNNがCNNよりも長距離依存性を捉えるのに優れていることを裏付けた。