[論文レビュー] ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for Semi-supervised Text Classification

Kunze Wang, Soyeon Caren Han+2 more|arXiv (Cornell University)|Apr 10, 2022

Text and Document Classification Technologies被引用数 6

ひとこと要約

ME-GCNは、コーパスで学習された単語および文書埋め込みから得られる多次元エッジ特徴を活用することで、半教師ありテキスト分類を向上させる、画期的なグラフ畳み込みネットワークを提案する。エッジ特徴の各次元をグラフ畳み込みにおける別個のストリームとして扱うことで、ME-GCNは8つのベンチマークデータセットにおいて最先端の手法を上回り、特にラベルが少ない設定下でも優れた性能を示し、最小限のラベルデータで優れた性能を発揮する。

ABSTRACT

Compared to sequential learning models, graph-based neural networks exhibit excellent ability in capturing global information and have been used for semi-supervised learning tasks. Most Graph Convolutional Networks are designed with the single-dimensional edge feature and failed to utilise the rich edge information about graphs. This paper introduces the ME-GCN (Multi-dimensional Edge-enhanced Graph Convolutional Networks) for semi-supervised text classification. A text graph for an entire corpus is firstly constructed to describe the undirected and multi-dimensional relationship of word-to-word, document-document, and word-to-document. The graph is initialised with corpus-trained multi-dimensional word and document node representation, and the relations are represented according to the distance of those words/documents nodes. Then, the generated graph is trained with ME-GCN, which considers the edge features as multi-stream signals, and each stream performs a separate graph convolutional operation. Our ME-GCN can integrate a rich source of graph edge information of the entire text corpus. The results have demonstrated that our proposed model has significantly outperformed the state-of-the-art methods across eight benchmark datasets.

研究の動機と目的

• 従来のGCNがテキスト分類において単一次元のエッジ特徴しか使用しないという制限を解消すること。
• 単語および文書間の豊かな意味的・構造的関係を捉えるために、多次元エッジ特徴の有効性を検証すること。
• 事前学習済み埋め込みやパーサーなどの外部リソースに依存せずに、ノードおよび多次元エッジ特徴を活用するグラフニューラルネットワークを構築すること。
• 単一で統合されたテキストグラフ内での豊かなエッジ表現を通じた情報の効果的伝搬により、半教師ありテキスト分類の性能を向上させること。
• エッジ特徴の複数ストリーム処理が、特にラベルデータが限られる状況下でモデルの表現力と一般化性能を向上させることを実証すること。

提案手法

• コーパス全体から1つの大規模なテキストグラフを構築し、単語および文書をノードとし、それらの間の意味的距離を表す多次元エッジを設ける。
• 語彙的・構文的構造を捉えるために、コーパスで学習された多次元埋め込み（例：Word2Vec、fastText、GloVe）を用いて単語および文書ノードを初期化する。
• ノード埋め込み間のコサイン距離またはユークリッド距離に基づいてエッジ特徴を多次元ベクトルとして表現し、豊かな関係性情報を符号化する。
• 複数ストリームグラフ畳み込みを適用：エッジ特徴ベクトルの各次元を別個のグラフ畳み込み層で独立して処理することで、特徴固有のパターンを保持する。
• 各エッジ特徴ストリームごとに別個の学習ユニットを設け、集約前の局所的構造的パターンの個別最適化を可能にする。
• 最大プーリングを用いて複数ストリームの出力を集約し、特徴表現を強化するとともに、判別的な情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 単一次元エッジ特徴と比較して、多次元エッジ特徴が半教師ありテキスト分類性能を顕著に向上させることができるか？
• RQ2 コーパスで学習された多次元エッジ特徴を用いることで、ラベルデータが少ない状況下でのモデルの一般化性能にどのような影響を与えるか？
• RQ3 エッジ特徴の各次元を別々に処理する複数ストリームグラフ畳み込みが、共有または統合処理よりも優れた性能を発揮するか？
• RQ4 異なる単語埋め込み手法（Word2Vec、fastText、GloVe）がエッジ特徴の質および下流の分類精度に与える影響は何か？
• RQ5 プーリング戦略（最大、平均、最小）が、ME-GCNの最終的表現および分類性能に与える影響は何か？

主な発見

• ME-GCNは、R52やTwitter nltkを含む8つのベンチマークデータセットにおいて、1%のラベル付き文書のみで最先端の性能を達成した。
• Twitter nltkデータセットでは、1%のラベルデータでのみ学習した場合でも82.32%のテスト精度を達成し、他のモデルが33%のデータで学習した場合でさえも上回った。
• R52では10%のラベル付き文書でのみ学習した場合でも85.52%の精度に達し、優れたデータ効率性を示した。
• 最大プーリングが全データセットで最良の性能を示したのに対し、最小プーリングは外れ値やノイズに敏感なため、劣悪な性能を示した。
• 分離されたストリーム学習は共有学習を著しく上回り、エッジ特徴次元の独立した処理がモデルの表現力と学習能力を向上させることを示した。
• Word2VecとGloVeは、fastTextよりも優れた結果をもたらした。これは、モデルが文字レベルの表現ではなく単語レベルの表現に依存しているためと考えられる。