[論文レビュー] Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction

Christoph Alt, Aleksandra Gabryszak+1 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 31被引用数 7

ひとこと要約

本稿では、ニューラル関係抽出（RE）モデルが捉えている言語的特徴を分析するための14のプロービングタスクを導入し、TACREDおよびSemEval 2010で40種類以上のエンコーダー・アーキテクチャと言語的特徴の組み合わせを評価している。その結果、コンテキストに依存する埋め込み表現（例：BERT）は、エンティティおよび品詞のプロービングタスクおよびREにおいて顕著に性能を向上させる一方、エンティティマスキングはREの正確性を向上させるが、エンティティタイプのプロービングタスクの性能を低下させ、学習された表現におけるアーキテクチャのバイアスを明らかにしている。

ABSTRACT

Despite the recent progress, little is known about the features captured by state-of-the-art neural relation extraction (RE) models. Common methods encode the source sentence, conditioned on the entity mentions, before classifying the relation. However, the complexity of the task makes it difficult to understand how encoder architecture and supporting linguistic knowledge affect the features learned by the encoder. We introduce 14 probing tasks targeting linguistic properties relevant to RE, and we use them to study representations learned by more than 40 different encoder architecture and linguistic feature combinations trained on two datasets, TACRED and SemEval 2010 Task 8. We find that the bias induced by the architecture and the inclusion of linguistic features are clearly expressed in the probing task performance. For example, adding contextualized word representations greatly increases performance on probing tasks with a focus on named entity and part-of-speech information, and yields better results in RE. In contrast, entity masking improves RE, but considerably lowers performance on entity type related probing tasks.

研究の動機と目的

• 最先端のニューラル関係抽出モデルが、エンティティタイプ、依存パス、句構造的役割などの言語的特徴をどれだけ捉えているかを理解すること。
• CNN、RNN、GCN、自己注意機構（self-attention）などの異なるエンコーダー・アーキテクチャ（例：CNN、RNN、GCN、S-Att.）が、文レベルの表現における言語的特徴の表現に与える影響を調査すること。
• 品詞タグ、依存解析などの明示的な言語的知識や、ELMo、BERTなどの文脈依存語彙表現が、学習された表現の質に与える影響を評価すること。
• プロービングタスクの性能と下流の関係抽出タスクの性能との間の関連を確立し、表現学習における潜在的なトレードオフを同定すること。
• 再現可能性と今後の研究を支援するためのオープンソースフレームワーク（RelExおよびREval）を提供すること。

提案手法

• 著者らは、関係抽出に言語的に関連する特徴をターゲットとする14のプロービングタスクを設計した。その対象にはエンティティタイプ、品詞、依存パス、引数距離が含まれる。
• 4つのエンコーダー・アーキテクチャ（CNN、Bi-LSTM、GCN、S-Att.）と、さまざまな入力特徴（例：エンティティマスキング、コンテキストに依存する埋め込み表現、品詞タグ）の組み合わせによる41種類のモデル変種を、TACREDおよびSemEval 2010タスク8の2つのデータセットで評価した。
• 各モデル変種について、文レベルの表現を抽出し、それらを用いてプロービングタスクの分類器（2値分類または多値分類）を学習させ、特徴のエンコーディング品質を測定した。
• 各プロービングタスクの性能は、標準的な指標（例：F1スコア）を用いて評価され、下流の関係抽出タスクのF1スコアと相関させることで、表現の有用性を評価した。
• 標準化されたトレーニングおよび評価プロトコルを用い、全訓練セットでモデルをトレーニングし、開発セットで評価することで、各変種間の比較可能性を確保した。
• 著者らは、SentEvalを拡張するためのプロービングタスクを備えたRelExフレームワークとREvalツールキットを公開し、広範な採用と再現可能性を促進した。

実験結果

リサーチクエスチョン

• RQ1 最先端のニューラル関係抽出モデルは、エンティティタイプ、品詞タグ、依存パスといった重要な言語的特徴をどれほど正確にエンコードしているか。
• RQ2 エンコーダー・アーキテクチャの選択（例：自己注意機構 vs. CNN）が、文レベル表現における言語的特徴の表現にどの程度影響を与えるか。
• RQ3 明示的な言語的特徴（例：品詞、依存解析）および文脈依存語彙表現（例：BERT、ELMo）が、関係抽出のための学習された表現の質に与える影響は何か。
• RQ4 プロービングタスクの性能と下流の関係抽出タスクの性能との間にトレードオフがあるか。
• RQ5 エンティティマスキングは、エンティティ関連の言語的特徴のエンコードおよび全体的なモデルの汎化性能にどのように影響を与えるか。

主な発見

• BERT や ELMo といったコンテキストに依存する語彙表現は、固有表現や品詞情報に焦点を当てたプロービングタスクで顕著に性能を向上させ、これらの特徴が強くエンコードされていることを示している。
• CNN + ELMo モデルは、ほとんどのタスクで最高のプロービングタスク性能を達成したが、最良のモデル（S-Att.+BERT cased with masking）と比較して、TACREDの関係抽出タスクでF1スコアが8.1ポイント低い結果となった。
• 自己注意機構を用いたエンコーダー（S-Att.）は、関係抽出タスクのF1スコアを最高水準（TACREDで最大66.9）に達成したが、一貫してプロービングタスクで劣位に回った。これは、より深く抽象化された言語的特徴を捉えている可能性を示唆している。
• エンティティマスキングは、関係抽出における汎化性能を向上させ、F1スコアを4～8ポイント向上させたが、エンティティタイプ関連のプロービングタスクの性能を低下させた。これは、表現学習におけるトレードオフを示している。
• SemEval 2010データセットでは、BERT埋め込みの追加により、すべてのモデルでF1スコアが3.5～6ポイント向上した。特に最高のモデル（CNN + uncased BERT）は86.3のF1スコアを達成し、最先端技術と同等の性能を示した。
• 本研究では、アーキテクチャのバイアスが、学習された表現にどの言語的特徴がエンコードされるかに強く影響しており、アーキテクチャと入力特徴に応じて、プロービングタスクの性能に体系的な差が生じることを明らかにした。