[論文レビュー] Prototypical Representation Learning for Relation Extraction

Ning Ding, Xiaobin Wang+8 more|arXiv (Cornell University)|Mar 22, 2021

Topic Modeling参考文献 68被引用数 38

ひとこと要約

本論文は、関係抽出のための典型的表現学習フレームワークを提案し、遠くラベル付けされたデータから関係プロトタイプとステートメントエンコーディングを学習し、ステートメント間およびプロトタイプ-ステートメントの目的を最適化して、監視付き・few-shot・zero-shot設定全体でロバスト性、解釈性、性能を向上させる。

ABSTRACT

Recognizing relations between entities is a pivotal task of relational learning. Learning relation representations from distantly-labeled datasets is difficult because of the abundant label noise and complicated expressions in human language. This paper aims to learn predictive, interpretable, and robust relation representations from distantly-labeled data that are effective in different settings, including supervised, distantly supervised, and few-shot learning. Instead of solely relying on the supervision from noisy labels, we propose to learn prototypes for each relation from contextual information to best explore the intrinsic semantics of relations. Prototypes are representations in the feature space abstracting the essential semantics of relations between entities in sentences. We learn prototypes based on objectives with clear geometric interpretation, where the prototypes are unit vectors uniformly dispersed in a unit ball, and statement embeddings are centered at the end of their corresponding prototype vectors on the surface of the ball. This approach allows us to learn meaningful, interpretable prototypes for the final classification. Results on several relation learning tasks show that our model significantly outperforms the previous state-of-the-art models. We further demonstrate the robustness of the encoder and the interpretability of prototypes with extensive experiments.

研究の動機と目的

• ノイズのある遠くラベル付けデータからのロバストな関係表現学習を動機づける。
• 各関係に対して本質的意味を捉えるプロトタイプを提案する。
• クラス内のコンパクト性とクラス間分離を強制する幾何学に着想を得た目的を開発する。
• 大規模な遠くラベル付けデータで事前学習し、対象タスクでファインチューニングする。
• 監視付き、few-shot、そしてファジー評価設定全体で性能と解釈性の向上を実証する。

提案手法

• 関係プロトタイプを単位球上の単位ベクトルとして定義し、ステートメントをプロトタイプ表面の近傍に中心化した単位ベクトルとする。
• 正規化した埋め込みに基づく幾何学的類似度指標 d(s_i,s_j) および d(s,z) を用いる（単位球上の角度）。
• クラス内のコンパクト性とクラス間の分離を促す、ステートメント対ステートメント損失 L_S2S を導入する。
• ステートメントが自分のプロトタイプの周りにクラスタリングされ、他のプロトタイプから離れることを保証する、プロトタイプ-ステートメント損失 L_S2Z および L_S2Z' を導入する。
• ラベル正規化された中心としてプロトタイプを正則化するため、プロトタイプレベルの分類損失 L_CLS を含める。
• ロスをハイパーパラメータと組み合わせて、全目的関数 L = λ1 L_S2S + λ2 (L_S2Z + L_S2Z') + λ3 L_CLS を形成する。
• 事前学習-ファインチューニングのパラダイムを採用し、遠くラベル付けデータで事前学習を行い、監視付きおよび few-shot 設定でファインチューニングする。
• 監視付きRE（SemEval 2010 Task 8）、few-shot（FewRel）、提案されたファジー関係データセット（FuzzyRED）で評価する。
• エンコーダを BERT-base とし、トランスフォーマー型関係エンコーダとプロトタイプベースの目的を実装する；Wikidata-Wikipedia 由来の約0.86M の遠くラベル付けステートメントを整列させて事前学習し、次にファインチューニングする。）

実験結果

リサーチクエスチョン

• RQ1 遠くラベル付けデータから学習した典型表現が、監視レジームを跨いでロバストで解釈可能な関係表現を生み出せるか。
• RQ2 典型中心の損失は、関係抽出におけるクラス内のコンパクト性とクラス間分離を、従来のクロスエントロピーと比べて改善するか。
• RQ3 事前学習済みの典型エンコーダは、監視付き・few-shot・zero-shotの関係学習タスクへどの程度転移するか。
• RQ4 幾何学的プロトタイプの可視化と probing データセット（FuzzyRED）による関係クラスターの解釈性をサポートするか。

主な発見

• 監視付き・few-shot・zero-shot設定で最先端ベースラインを上回る顕著な性能向上。
• プロトタイプは単位球上の単位ベクトルとして学習可能で、ステートメントはプロトタイプ方向の周りにクラスタリングされる；幾何学に基づく損失が解釈可能なクラスタを生む。
• ノイズ付きラベル下での決定境界の歪みを減らし、遠距離監視シナリオでのロバスト性を向上させるプロトタイプレベル正則化。
• モデルは FewRel で 5-way/1-shot および 10-way/1-shot タスクで強力な結果を達成し、いくつかの設定で人間の性能に近づくまたは上回る。
• FuzzyRED 評価では事前学習済みエンコーダが遠距離ラベルベースラインを上回り、COL（結合損失）によりラベルノイズに対する最も良いロバスト性を提供。