[論文レビュー] Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification

Jonggu Kim, Jong-Hyeok Lee|arXiv (Cornell University)|Jul 5, 2017

Topic Modeling参考文献 15被引用数 3

ひとこと要約

本論文は、関係分類のための新しいRNNベースのモデルを提案する。このモデルは、文内の名詞的フレーズ（nominal spans）と関係（relation spans）に限定して作用する複数の範囲制限付き双方向GRU（Gated Recurrent Units, GRUs）と注目機構（attention）を用いる。外部の言語的特徴量に依存せず、SemEval-2010データセットでF1スコア84.3%を達成し、最先端の性能と同等である。

ABSTRACT

Most of neural approaches to relation classification have focused on finding short patterns that represent the semantic relation using Convolutional Neural Networks (CNNs) and those approaches have generally achieved better performances than using Recurrent Neural Networks (RNNs). In a similar intuition to the CNN models, we propose a novel RNN-based model that strongly focuses on only important parts of a sentence using multiple range-restricted bidirectional layers and attention for relation classification. Experimental results on the SemEval-2010 relation classification task show that our model is comparable to the state-of-the-art CNN-based and RNN-based models that use additional linguistic information.

研究の動機と目的

• 手動で作成された言語的特徴量に依存せずにRNNを用いて関係分類の性能を向上させること。
• GRU層を特定の文の区間（名詞的フレーズと関係）に制限することで、特徴抽出の質が向上するかを調査すること。
• 注目機構が文内の関係関連の区間を的確に注目する効果を評価すること。
• 範囲制限下で、名詞的フレーズのみ、関係のみ、または両方を抽出するモデルの性能を比較すること。

提案手法

• 各単語を表すために、事前学習済みの100次元の単語埋め込み表現を入力として使用する。
• 3つの別々の双方向GRU層を範囲制限付きで適用する：1つは最初の名詞的フレーズ（e1）に、1つは2番目の名詞的フレーズ（e2）に、1つはそれらの間の関係区間（relation span）にそれぞれ対応する。
• マスキング技術を用いて範囲制限を強制し、各GRUが自身の指定された区間のみを処理するようにすることで、関連する句構造的・意味的パターンへの注目を高める。
• 注目機構を、3つのGRUの最終隠れ状態に適用し、関係クラスに寄与する重要度に応じて動的に重みを付与する。
• 最終的な文表現は、3つのGRU層の注目された出力を連結することで構成される。
• 全結合層とソフトマックス関数を用いて最終的な関係クラススコアを計算し、マージンベース分類を最適化するためのランキング損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 POSタグや依存構造パスなどの外部言語的特徴量を用いずに、RNNベースのモデルが関係分類で競争力のある性能を達成できるか？
• RQ2 GRU層を名詞的フレーズと関係に限定することで、特徴抽出の質と分類精度が向上するか？
• RQ3 範囲制限と注目機構の組み合わせが、標準的な双方向GRUと比較して性能に与える影響は何か？
• RQ4 名詞的フレーズの区間と関係の区間の間で、それぞれが正しい関係クラスを予測するために果たす相対的寄与度はどの程度か？

主な発見

• 提案されたモデルは、事前学習済み単語埋め込みと追加の言語的特徴量を一切使用せず、SemEval-2010テストセットでF1スコア84.3%を達成した。
• 範囲制限なしで適用された標準的な注目付き双方向GRU（att-BGRU）よりも性能が優れており、区間特化型モデリングの利点が示された。
• 名詞的フレーズと関係区間の両方を同時に特徴抽出したモデルが最も高い性能（84.3%）を示し、3つのコンponentからの補完的特徴が有効であることが示された。
• アブレーションスタディの結果、GRUを関係区間のみに制限したモデルではF1スコアが82.9%に低下しており、名詞的フレーズの特徴が性能に不可欠であることが示された。
• 本モデルの性能は、POSタグ、WordNet、最短依存パスなどの追加言語リソースを用いた最先端のCNNおよびRNNモデルと同等の水準であった。