[論文レビュー] HeteGCN: Heterogeneous Graph Convolutional Networks for Text Classification

Rahul Ragesh, Sundararajan Sellamanickam+3 more|arXiv (Cornell University)|Aug 19, 2020

Topic Modeling参考文献 38被引用数 19

ひとこと要約

この論文では、HeteGCN を提案する。HeteGCN は、テキスト分類のための異種グラフ畳み込みネットワークであり、テキスト分類のための異種グラフ畳み込みネットワークである TextGCN を、層ごとに異なるグラフ（例：単語-単語、ドキュメント-単語）を用いたモジュラーかつ独立した HeteGCN モデルに分解する。アーキテクチャの単純化とパラメータの削減により、HeteGCN はより高速な学習、少数ラベル付きデータセットにおけるより優れた一般化性能、および TextGCN や PTE よりも優れた性能を達成しており、特にデータが少ない状況下で顕著である。

ABSTRACT

We consider the problem of learning efficient and inductive graph convolutional networks for text classification with a large number of examples and features. Existing state-of-the-art graph embedding based methods such as predictive text embedding (PTE) and TextGCN have shortcomings in terms of predictive performance, scalability and inductive capability. To address these limitations, we propose a heterogeneous graph convolutional network (HeteGCN) modeling approach that unites the best aspects of PTE and TextGCN together. The main idea is to learn feature embeddings and derive document embeddings using a HeteGCN architecture with different graphs used across layers. We simplify TextGCN by dissecting into several HeteGCN models which (a) helps to study the usefulness of individual models and (b) offers flexibility in fusing learned embeddings from different models. In effect, the number of model parameters is reduced significantly, enabling faster training and improving performance in small labeled training set scenario. Our detailed experimental studies demonstrate the efficacy of the proposed approach.

研究の動機と目的

• 既存のグラフベースのテキスト分類モデルの限界、特にスケーラビリティ、帰納的（inductive）能力、および少数ラベル設定下での性能を解決すること。
• TextGCN の帰納的でない性質（transductive）と高いパラメータ数を克服し、モジュラーかつ帰納的な代替手法を設計すること。
• PTE の性能を向上させつつ、その帰納的かつ効率的な学習特性を維持するため、統一されたGCNベースのフレームワークを提案すること。
• 異なる HeteGCN バリエーションからの埋め込みの柔軟な組み合わせや統合を可能にし、一般化性能と適応性を向上させること。
• 異種グラフからの学習済みの特徴量およびドキュメント埋め込みを用いた、テキスト分類における帰納的推論の原則的アプローチを提供すること。

提案手法

• TextGCN アーキテクチャを、異なるグラフタイプ（例：単語-単語、ドキュメント-単語）ごとに独立した HeteGCN モデルに分解する。
• 異なるグラフ構造に対して別々のGCN層を用い、異種関係間でのパラメータ共有を最小限に抑えつつ、一貫性を確保する。
• ドキュメント、単語、ラベルを含む異種グラフを構築し、各グラフタイプごとにグラフ畳み込み演算を適用してノード埋め込みを学習する。
• HeteGCN モデルを異なるグラフタイプごとに独立して学習し、得られた埋め込みを統合して最終的な分類を実行する。
• 統合された埋め込みに単純な線形分類器を適用し、新しいデータに対して再学習なしに帰納的推論を可能にする。
• HeteGCN の帰納的性質を活用し、学習時とは異なるドキュメントや単語に対しても一般化可能な埋め込みを学習する。これは、TextGCN が帰納的でない性質を持つのとは対照的である。

実験結果

リサーチクエスチョン

• RQ1 モジュラーな HeteGCN アーキテクチャは、学習速度、パラメータ効率、少数ラベル付きデータセットにおける性能という観点で、モノリシックな TextGCN を上回ることができるか？
• RQ2 TextGCN を独立した HeteGCN モデルに分解することで、ラベルが少ない状況下での帰納的能力と一般化性能にどのような影響を与えるか？
• RQ3 異なるグラフタイプ（例：単語-単語対比、ドキュメント-単語）が最終的な分類性能に果たす相対的寄与度は何か？
• RQ4 既存のGCNベースのテキスト分類器と比較して、HeteGCN は顕著にモデルの複雑さと学習時間を削減しながらも、強力な性能を維持できるか？
• RQ5 複数の HeteGCN モデルからの埋め込みの統合は、データが少ない状況下でのロバスト性と正確性を向上させるのにどの程度効果的か？

主な発見

• 単語-単語グラフを用いた HeteGCN は、TextGCN や PTE を含む最先端のモデルを上回り、特にラベル付きデータが限られる状況下で顕著な性能を示す。
• TextGCN と比較してモデルのパラメータ数が顕著に削減され、データが少ない状況下での一般化性能と高速な学習を実現している。
• モジュラー設計により、異なるグラフ上で独立して HeteGCN モデルを学習できるため、アブレーションスタディやモデルの解釈性が向上する。
• HeteGCN は、未学習のドキュメントや単語に対しても一般化可能な埋め込みを学習することで、帰納的推論を実現している。これは、TextGCN が帰納的でない性質を持つのとは対照的である。
• 複数の HeteGCN バリエーションからの埋め込みの統合により、性能が向上しており、提案されたアーキテクチャの柔軟性と有効性が示された。
• 計算リソースやストレージ制限の下でも、強力な性能を維持できることから、リソース制限のある環境にも適している。