[論文レビュー] Classifying Relations by Ranking with Convolutional Neural Networks

Cícero Nogueira dos Santos, Bing Xiang+1 more|arXiv (Cornell University)|Apr 24, 2015

Topic Modeling参考文献 12被引用数 113

ひとこと要約

本稿では、分類の代わりに順位付けを行うことで、学習済みのクラス埋め込みと新しいペairワイズ順位付け損失関数を用いて、人工的な'Other'クラスの影響を軽減する、CR-CNNと呼ばれる畳み込みニューラルネットワークを提案する。SemEval-2010 Task 8データセットにおいて、手作業で作成した特徴量を一切使用せず、単に単語埋め込みとターゲット名詞間のテキストのみを用いても、F1スコア84.1を達成し、先行する最先端手法を上回っている。

ABSTRACT

Relation classification is an important semantic processing task for which state-ofthe-art systems still rely on costly handcrafted features. In this work we tackle the relation classification task using a convolutional neural network that performs classification by ranking (CR-CNN). We propose a new pairwise ranking loss function that makes it easy to reduce the impact of artificial classes. We perform experiments using the the SemEval-2010 Task 8 dataset, which is designed for the task of classifying the relationship between two nominals marked in a sentence. Using CRCNN, we outperform the state-of-the-art for this dataset and achieve a F1 of 84.1 without using any costly handcrafted features. Additionally, our experimental results show that: (1) our approach is more effective than CNN followed by a softmax classifier; (2) omitting the representation of the artificial class Other improves both precision and recall; and (3) using only word embeddings as input features is enough to achieve state-of-the-art results if we consider only the text between the two target nominals.

研究の動機と目的

• 最先端の関係分類システムが高コストな手作業による特徴量に依存するという限界を解消すること。
• ソフトマックスベースの分類を順位付けベースのアプローチに置き換えることで、SemEval-2010 Task 8ベンチマークにおける性能を向上させること。
• 新しい損失関数と埋め込み省略戦略を用いて、人工的な'Other'関係クラスがもたらす悪影響を軽減すること。
• 特にターゲット名詞間のテキストからの単語埋め込みのみを用いても、最先端の性能が達成可能であることを示すこと。
• 各関係クラスの予測に寄与する最も代表的な3語語群（trigram）を特定することで、解釈可能性を提供すること。

提案手法

• CR-CNNは畳み込みニューラルネットワークを用いて、単語埋め込みから入力文の分散表現を生成する。
• 各関係クラスはクラス埋め込み行列内の学習済みベクトルで表現され、文の表現とクラス埋め込みのドット積によって各クラスのスコアが計算される。
• 正しい関係が誤った関係よりも高い順位に来るよう最適化する新しいペアワイズ順位付け損失関数を導入し、人工的な'Other'クラスの影響を低減する。
• モデルは単語埋め込みのみを入力として、エンドツーエンドに訓練される。性能向上のためのオプションとして単語位置埋め込み（WPEs）を追加可能。
• ネットワークアーキテクチャにより、各トリグラムが最終スコアに与える影響に基づいて寄与度を計算することで、解釈可能性を実現している。
• 推論時には、'Other'クラスの埋め込みをクラス埋め込み行列から省略することで、精度と再現率の向上を図っている。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルは、高価な手作業による特徴量に依存せずに、関係分類で最先端の性能を達成できるか？
• RQ2 順位付けベースの分類アプローチは、従来のソフトマックスベースの分類よりも関係分類タスクで優れているか？
• RQ3 提案されたペアワイズ順位付け損失は、人工的な'Other'関係クラスがもたらす悪影響をどれほど軽減できるか？
• RQ4 位置埋め込みなどの追加特徴量を除き、2つのターゲット名詞間のテキストからのみの単語埋め込みを用いても、性能を維持できるか？
• RQ5 モデルの予測は、入力文における最も影響力のあるトリグラムを特定することで解釈可能か？

主な発見

• CR-CNNはSemEval-2010 Task 8データセットでF1スコア84.1を達成し、手作業で作成した特徴量を一切使用せず、先行する最先端手法を上回っている。
• 提案された損失関数を用いた順位付けベースのアプローチは、標準的なCNNにその後続のソフトマックス分類器を適用する手法を上回り、順位付けパラダイムの有効性を示している。
• 'Other'クラスの埋め込みを省略することで、精度と再現率が向上した。これは、等しく扱われる場合に人工クラスがモデル学習を歪める可能性があることを示している。
• 2つのターゲット名詞間のテキストからの単語埋め込みのみを用いても、高い性能が得られ、最小限の入力でも高精度を維持できることが示された。
• モデルは'away from the'（Entity-Originに寄与）や'the source of'（Origin-Entityに寄与）といった意味的に関連のあるトリグラムを特定しており、解釈可能性と意味的整合性を裏付けている。
• 寄与度分析により、スコアに大きな影響を与えるトリグラムは、予測された関係タイプと意味的に関連していることが確認され、モデルの解釈可能性が妥当であることが検証された。