[論文レビュー] Logic-guided Semantic Representation Learning for Zero-Shot Relation Classification

Juan Li, Ruoxu Wang+4 more|arXiv (Cornell University)|Oct 30, 2020

Topic Modeling参考文献 49被引用数 5

ひとこと要約

本稿では、暗黙の意味的関係を知識グラフ埋め込みで捉え、明示的な記号的推論のために論理規則を統合することで、ゼロショット関係分類を向上させるモデルに依存しないフレームワークである論理誘導意味的表現学習（LSRL）を提案する。これらの2つの要素を統合することで、ベースライン手法よりも最大4%のHit@1スコア向上を達成し、未学習関係への一般化に構造的知識と論理的推論を組み合わせることの有効性を示している。

ABSTRACT

Relation classification aims to extract semantic relations between entity pairs from the sentences. However, most existing methods can only identify seen relation classes that occurred during training. To recognize unseen relations at test time, we explore the problem of zero-shot relation classification. Previous work regards the problem as reading comprehension or textual entailment, which have to rely on artificial descriptive information to improve the understandability of relation types. Thus, rich semantic knowledge of the relation labels is ignored. In this paper, we propose a novel logic-guided semantic representation learning model for zero-shot relation classification. Our approach builds connections between seen and unseen relations via implicit and explicit semantic representations with knowledge graph embeddings and logic rules. Extensive experimental results demonstrate that our method can generalize to unseen relation types and achieve promising improvements.

研究の動機と目的

• 教師あり関係分類モデルが未学習の関係タイプに対して失敗するという限界に対処すること。
• 既知および未知の関係間の暗黙的および明示的な意味的つながりを活用することで、ゼロショット関係分類における一般化ギャップを埋めること。
• ゼロショット設定における意味的表現学習の補完的メカニズムとして、知識グラフ埋め込みと論理規則の統合を検討すること。
• アーキテクチャの変更を要せず、既存のゼロショット手法を強化できるモデルに依存しないフレームワークを開発すること。

提案手法

• 事前学習済みの知識グラフ埋め込み（例：TransE）を用いて、連続的ベクトル空間内での関係間の暗黙の意味的つながりを構築する。
• AMIEを用いた規則抽出により、知識グラフから記号的論理規則を抽出し、関係間の論理的関係を捉える。
• 規則誘導型表現学習を導入し、論理的推論パターンを組み込むことで関係埋め込みを精緻化する。
• 知識グラフ埋め込みと規則ベース埋め込みを統合された意味的空間に統合し、未学習関係への一般化を向上させる。
• DeViSE や ConSE などの既存のゼロショット学習モデルと LSRL モジュールを統合し、互換性と有効性を実証する。
• 入力文の表現を、関係ラベルの強化された意味的空間に一致させるための射影関数を採用し、ゼロショット予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みは、ゼロショット関係分類において、既知および未知の関係間の暗黙の意味的関係を効果的に捉えることができるか？
• RQ2 記号的論理規則は、ゼロショット関係分類モデルの一般化能力をどのように向上させるか？
• RQ3 暗黙的（KG埋め込み）および明示的（規則ベース）な意味的つながりを組み合わせることで、単独で使用する場合よりも性能がどの程度向上するか？
• RQ4 提案された LSRL フレームワークは、アーキテクチャの変更なしに、既存のゼロショット学習モデルと効果的に統合できるか？
• RQ5 論理的規則の統合は、未学習関係のより強固で解釈可能な表現をもたらすか？

主な発見

• ConSE を射影関数として使用した場合、知識グラフ埋め込みと論理規則の統合により、ベースライン手法よりもHit@1スコアが3–4%向上した。
• 特定の未学習関係、例えば「mother」に関しては、語彙埋め込みが学習不足のため失敗する一方で、規則ベース埋め込みは同等またはより良い性能を示した。
• 関係「nominated_for」に関して、規則「nominated_for(x,z) ⇐ award_received(x,y) ∧ winner(y,z)」がモデルの予測パターンと一致しており、モデルの論理的一致性を確認した。
• ConSE+KG からのヒートマップ分析により、「award_received」のような関係が「nominated_for」の予測に強く寄与していることが示され、モデルが学習した論理的つながりが妥当であることを裏付けた。
• モデルは、代表が不十分な関係や埋め込みが不十分な関係において、論理的規則が関係埋め込みを補正・精緻化することを示した。
• 広範なアブレーションスタディにより、知識グラフ埋め込みと規則学習の両方が性能向上に顕著に寄与しており、併用することで最良の結果が得られることを確認した。