[論文レビュー] Composing Distributed Representations of Relational Patterns

Sho Takase, Naoaki Okazaki+1 more|arXiv (Cornell University)|Jul 23, 2017

Topic Modeling被引用数 3

ひとこと要約

本稿では、5,555組の関係的パターン対についての5ポイントの類似度評価を備えた新しい人間アノテート済みデータセットを紹介し、分散表現モデルの詳細な評価を可能にする。また、ゲーティング機構を備えた強化された加法的結合であるゲーティング加法的結合（GAC）を提案し、実験によりGACがRNN、LSTM、GRUといった標準的なエンコーダーよりも関係的パターンの意味をよりよくモデル化できることを示している。新規データセットは、下流の関係分類タスクにおける性能予測に信頼できる指標として機能する。

ABSTRACT

Learning distributed representations for relation instances is a central technique in downstream NLP applications. In order to address semantic modeling of relational patterns, this paper constructs a new dataset that provides multiple similarity ratings for every pair of relational patterns on the existing dataset. In addition, we conduct a comparative study of different encoders including additive composition, RNN, LSTM, and GRU for composing distributed representations of relational patterns. We also present Gated Additive Composition, which is an enhancement of additive composition with the gating mechanism. Experiments show that the new dataset does not only enable detailed analyses of the different encoders, but also provides a gauge to predict successes of distributed representations of relational patterns in the relation classification task.

研究の動機と目的

• NLPにおける関係的パターンの分散表現の明示的評価ベンチマークの不足に対処すること。
• 関係的パターン対の複数の類似度評価を備えた高品質な人間アノテート済みデータセットを構築し、表現モデルの詳細な分析を可能にすること。
• 加法的結合、RNN、LSTM、GRUといったさまざまなニューラルエンコーダーが関係的パターンの分散表現をどのように組み合わせるかを比較すること。
• ゲーティング機構を備えた加法的結合の強化版であるゲーティング加法的結合（GAC）を提案・評価すること。
• 新規データセットが、関係分類などの下流タスクにおける性能予測にどの程度有効であるかを検証すること。

提案手法

• ゼイヒナーら（2012）が公開した5,555組の関係的パターン対を再アノテートし、意味的類似度についてインスタンスベースの人的判断による評価を実施。評価は1（類似しない）から7（非常に類似）のスケールで行われた。
• 大規模なラベルなしコーパス上でSkip-gramを用いて単語埋め込みを事前学習し、その埋め込みをエンコーダーの入力として使用した。
• 加法的結合にゲーティング機構を統合することで、ゲーティング加法的結合（GAC）を設計。これにより、表現における各コンポonentの寄与度を動的に制御できる。
• コサイン類似度を意味的類似度の代理指標として用い、新規データセット上で複数のエンコーダー（加法的結合、RNN、LSTM、GRU、GAC）を評価した。
• 学習済み表現の転送性を検証するため、SemEval 2010 タスク8の関係分類ベンチマークを用いた。
• 高信頼性のアノテーター間一致を得るために、CrowdFlowerを用いたクラウドソーシングを実施し、厳密なアノテーションガイドラインを適用した。

実験結果

リサーチクエスチョン

• RQ1 加法的結合、RNN、LSTM、GRU、GACといった異なるニューラルエンコーダーは、関係的パターンの意味的類似度をどの程度うまくモデル化できるか？
• RQ2 提案された人間アノテート済みデータセットは、関係的パターンの分散表現モデルの評価・比較に信頼できるベンチマークとして機能するか？
• RQ3 ゲーティング加法的結合（GAC）は、標準的な加法的結合や再帰的アーキテクチャを上回り、関係的パターンの意味をよりよく捉えられるか？
• RQ4 新規データセットからの類似度スコアは、関係分類のような下流タスクにおける分散表現の成功をどの程度正確に予測できるか？
• RQ5 系列エンコーダーのアーキテクチャ的選択は、文法的・意味的複雑性が異なる関係的パターンのモデル化にどのように影響するか？

主な発見

• 新規データセットは高いアノテーター間一致度を示しており、関係的パターンの意味的類似度評価の信頼性を裏付けている。
• ゲーティング加法的結合（GAC）は、評価されたすべてのエンコーダーの中で、関係的パターン間の意味的類似度を最もよく捉えていた。
• Skip-gramで事前学習した埋め込みとGACを組み合わせたモデルは、優れた一般化性能を示し、SemEval 2010 タスク8の関係分類ベンチマークでも競争力のある結果を達成した。
• 新規データセットからの類似度スコアは、下流タスクにおける性能と強く相関しており、関係分類におけるモデル成功の予測指標としての有効性を示している。
• 再帰的モデル（LSTM、GRU）は標準的な加法的結合を上回ったが、GACはコンポーネント表現への注目型ゲーティングを明示的にモデル化することで、それらを上回った。
• 本研究は、Skip-gramによる汎用的事前学習と、ゲーティングのようなアーキテクチャ的強化が、関係的パターン表現学習を顕著に向上させることを示している。