[論文レビュー] Look Again at the Syntax: Relational Graph Convolutional Network for Gendered Ambiguous Pronoun Resolution

Yinchuan Xu, Junlin Yang|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本稿では、微調整を行わず、事前学習されたBERTとゲート付き関係的グラフ畳み込みネットワーク（R-GCN）を組み合わせた、エンドツーエンドの共参照解決モデルを提案する。構文的依存グラフをR-GCNの入力として用いることで、タスク固有の構文的に情報化された埋め込みを学習し、標準的なBERT埋め込みを上回る性能を達成する。GAPデータセットにおいて80.3%のF1スコアを達成し、前回のSOTAを13.4ポイント上回った。

ABSTRACT

Gender bias has been found in existing coreference resolvers. In order to eliminate gender bias, a gender-balanced dataset Gendered Ambiguous Pronouns (GAP) has been released and the best baseline model achieves only 66.9% F1. Bidirectional Encoder Representations from Transformers (BERT) has broken several NLP task records and can be used on GAP dataset. However, fine-tune BERT on a specific task is computationally expensive. In this paper, we propose an end-to-end resolver by combining pre-trained BERT with Relational Graph Convolutional Network (R-GCN). R-GCN is used for digesting structural syntactic information and learning better task-specific embeddings. Empirical results demonstrate that, under explicit syntactic supervision and without the need to fine tune BERT, R-GCN's embeddings outperform the original BERT embeddings on the coreference task. Our work significantly improves the snippet-context baseline F1 score on GAP dataset from 66.9% to 80.3%. We participated in the 2019 GAP Coreference Shared Task, and our codes are available online.

研究の動機と目的

• GAPデータセットの性別バランスが取れていることを利用し、共参照解決における性別バイアスを是正すること。
• GAPデータセットにおけるスニペット・コンテキストベースラインのF1スコア66.9%を上回ること。
• 計算コストの高い微調整を伴わず、BERT埋め込みを共参照解決に適した形に向上させる手法を開発すること。
• 関係的グラフ畳み込みを用いて構文的構造をディープラーニングモデルに統合し、タスク固有の表現を向上させること。
• 明示的な構文的監視が、曖昧な代名詞解決の性能を顕著に向上させることを示すこと。

提案手法

• 各文の構文的依存グラフに、事前学習済みBERT埋め込みをノード初期表現として用いる。
• 依存解析を用いて、各文ごとに有向構文的依存グラフを構築する。
• グラフ構造に従ってメッセージを伝搬・更新するため、ゲート付き関係的グラフ畳み込みネットワーク（R-GCN）を適用する。
• 情報伝達を制御し、層間の過剰平滑化を軽減するため、ゲート機構を用いる。
• 最終予測のため、多層パーセプトロン（MLP）に供給する前に、BERT埋め込みとR-GCN出力を連結する。
• 5分割交差検証戦略を用いて、モデルをエンドツーエンドで訓練し、性能推定の堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 関係的グラフ畳み込みネットワークは、微調整なしにBERT埋め込みを共参照解決に効果的に向上させることができるか？
• RQ2 明示的な構文的監視は、曖昧な代名詞解決の性能をどの程度向上させるか？
• RQ3 R-GCNにおけるゲート機構は、構文的グラフにおける過剰平滑化を緩和し、表現学習を改善するのに寄与するか？
• RQ4 本手法は、BERTオンリーおよびルールベースのシステムを含む強力なベースラインと比較して、GAPベンチマークでどの程度優れているか？
• RQ5 BERT微調整を避けるモデルでも、共参照解決タスクでSOTA性能を達成できるか？

主な発見

• 提案手法は、GAPデータセット全体でF1スコア80.3%を達成し、前回の最良ベースライン66.9%を13.4ポイント上回った。
• R-GCNを用いて構文的構造を活用することで、BERTオンリー推論（F1スコア78.5%）を上回った。これは構造的事前知識の価値を示している。
• アブレーションスタディの結果、BERTとR-GCN出力を連結したゲート付きR-GCNが最良の性能（第1段階のlog-loss 0.4936）を示した。
• R-GCNの導入により表現学習が顕著に向上し、アブレーション設定のすべてで一貫した性能向上が確認された。
• 最終の共有タスク提出では、プライベートリーダーボードでlog-loss 0.394を達成し、モデルの堅牢性と有効性を裏付けた。
• 本モデルは、微調整なしに事前学習された文脈的埋め込みに構文的情報を効果的に統合できることを示しており、完全な微調整に代わる計算効率の高い代替手段を提供する。