[論文レビュー] VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification

Zhibin Lu, Pan Du+1 more|arXiv (Cornell University)|Apr 12, 2020

Topic Modeling参考文献 30被引用数 11

ひとこと要約

本論文は、語彙グラフ上のグラフ畳み込みネットワーク（GCN）とBERTを統合するハイブリッドモデル、VGCN-BERTを提案する。このモデルは、BERTの自己注意機構による局所的文脈情報と、GCN埋め込みによるグローバルな語彙的関係を同時にモデル化することで、文書分類の性能を向上させる。多層自己注意機構を介して単語レベルとグラフレベルの表現同士の動的相互作用を可能にすることで、5つの文書分類データセットで最先端の性能を達成した。

ABSTRACT

Much progress has been made recently on text classification with methods based on neural networks. In particular, models using attention mechanism such as BERT have shown to have the capability of capturing the contextual information within a sentence or document. However, their ability of capturing the global information about the vocabulary of a language is more limited. This latter is the strength of Graph Convolutional Networks (GCN). In this paper, we propose VGCN-BERT model which combines the capability of BERT with a Vocabulary Graph Convolutional Network (VGCN). Local information and global information interact through different layers of BERT, allowing them to influence mutually and to build together a final representation for classification. In our experiments on several text classification datasets, our approach outperforms BERT and GCN alone, and achieve higher effectiveness than that reported in previous studies.

研究の動機と目的

• BERTが文脈を超えたグローバルな語彙的関係を捉える能力に制限があることに対処する。
• 標準的なGCNがテキスト内の局所的な構文的・順序的依存関係をモデル化できないことに対処する。
• 統一されたディープラーニングフレームワーク内でグローバルな語彙構造と局所的文脈表現を統合する。
• 自己注意機構を介して、局所的（BERT）とグローバル（VGCN）な表現の間で双方向的相互作用を可能にする。
• 局所的文脈とグローバルな語彙的意味を統合表現空間で活用することで、文書分類の性能を向上させる。

提案手法

• 大規模コーパスにおける語の共起に基づいて点対相互情報量（PMI）を用いて語彙グラフを構築し、意味的関係を捉える。
• 語彙グラフ上でグラフ畳み込みネットワーク（GCN）を学習させ、グローバルな語彙的構造を符号化するグラフ埋め込みを生成する。
• BERTエンコーダの入力として、BERTの単語埋め込みとVGCNのグラフ埋め込みを連結する。
• BERT内の多頭部自己注意層を介して単語埋め込みとグラフ埋め込みの間の相互作用を許容し、両モalityに対する動的注意を可能にする。
• 最終的なBERT層の[CLS]トークン表現を、下流の文書分類タスクに用いる。
• 推論時に、単語トークンとグラフ埋め込み次元の両方に動的注意を向けることができる学習可能な注意機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 GCNを用いたグローバルな語彙構造の統合が、BERTの文書分類タスクにおける性能向上に寄与するか。
• RQ2 局所的（BERT）とグローバル（VGCN）な表現の間の相互作用は、別個処理や連結による統合よりも優れた表現学習をもたらすか。
• RQ3 グラフ埋め込みは、分野固有の語彙的知識に依存する曖昧または暗黙の感情表現をBERTが解消するのを支援するか。
• RQ4 暗黙の感情が関与する状況下で、BERTの注意機構が単語トークンとグラフ埋め込み次元の間でどのように分配されるか。
• RQ5 グラフ埋め込みが固定で非相互作用的である場合と比較して、動的注意がなされる場合にモデルの性能が向上するか。

主な発見

• VGCN-BERTは、5つのベンチマークデータセットすべてで最高のF1スコアを達成し、BERTおよびGCN単体を上回った。
• IMDB映画レビューデータセットでは、VGCN-BERTのF1スコアは91.93であり、Vanilla-VGCN-BERTとBERTの91.38を上回った。これは相互作用の恩恵を示している。
• 嫌がらせ発言検出タスクでは、F1スコアが81.26に向上し、BERTの80.59およびGCNの66.61を顕著に上回った。
• 可視化の結果、VGCN-BERTは『イノベーション』のような重要な意味的コンセプトに関連するグラフ埋め込み次元に注目するよう学習していることがわかった。
• VGCN-BERTの注意機構は、BERTの深層部が高レベル表現を形成した後、暗黙の感情に関連する『イノベーション』のようなグラフ埋め込み次元に高い注意を向ける動的挙動を示した。
• 一方、相互作用なしに埋め込みを連結するVanilla-VGCN-BERTは、グラフ埋め込みに注目できないことが確認され、相互作用が効果的な統合に不可欠であることを裏付けた。