[論文レビュー] Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks

Yufeng Zhang, Xueli Yu+4 more|arXiv (Cornell University)|Apr 22, 2020

Topic Modeling参考文献 21被引用数 30

ひとこと要約

TextING はゲート付きグラフニューラルネットワークを用いて、細かな語間相互作用を学習する別個の文書グラフを構築し、誘導型テキスト分類と未知語の処理を可能にする。

ABSTRACT

Text classification is fundamental in natural language processing (NLP), and Graph Neural Networks (GNN) are recently applied in this task. However, the existing graph-based works can neither capture the contextual word relationships within each document nor fulfil the inductive learning of new words. In this work, to overcome such problems, we propose TextING for inductive text classification via GNN. We first build individual graphs for each document and then use GNN to learn the fine-grained word representations based on their local structures, which can also effectively produce embeddings for unseen words in the new document. Finally, the word nodes are aggregated as the document embedding. Extensive experiments on four benchmark datasets show that our method outperforms state-of-the-art text classification methods.

研究の動機と目的

• 文書内の語間相互作用を捉える際のグローバル構造のテキストグラフの限界を克服する動機づけ。
• 局所的な語関係を学習する誘導型の文書ごとグラフニューラルネットワークを開発する。
• テスト文書における未知語の埋め込みを可能にする。
• 文書ごとグラフが最先端のベースラインより分類精度を改善することを示す。

提案手法

• スライディングウィンドウの共起を用いて各文書に対して個別の語グラフを構築する。
• 各文書グラフ内で語ノード表現を伝搬・更新するためにゲート付きグラフニューラルネットワークを適用する。
• アテンション重み付き語特徴と最大プーリングを組み合わせて文書表現を形成するリードアウト関数を使用する。
• グラフ表現をソフトマックス層に入力してクロスエントロピーロスで学習し、分類する。
• 局所グラフ信号とグローバルグラフ信号を組み合わせた multichannel TextING-M 変種で拡張することも可能。

実験結果

リサーチクエスチョン

• RQ1 文書ごとのグラフ内で局所的な語同士の相互作用を学習することで、誘導型テキスト分類は改善されるか？
• RQ2 文書ごとのグラフはテスト文書の未知語に対して効果的な埋め込みを生み出せるか？
• RQ3 TextING はベンチマークデータセットに対して、既存のグラフベースおよび非グラフベースのテキスト分類手法とどのように比較されるか？
• RQ4 グラフの深さ（層数）とウィンドウサイズが性能に与える影響は？
• RQ5 局所およびグローバル構造の両方を活用するマルチチャネル変種は補完的な利得をもたらすか？

主な発見

モデル	MR	R8	R52	Ohsumed
CNN (Non-static)	77.75 ± 0.72	95.71 ± 0.52	87.59 ± 0.48	58.44 ± 1.06
RNN (Bi-LSTM)	77.68 ± 0.86	96.31 ± 0.33	90.54 ± 0.91	49.27 ± 1.07
fastText	75.14 ± 0.20	96.13 ± 0.21	92.81 ± 0.09	57.70 ± 0.49
SWEM	76.65 ± 0.63	95.32 ± 0.26	92.94 ± 0.24	63.12 ± 0.55
TextGCN	76.74 ± 0.20	97.07 ± 0.10	93.56 ± 0.18	68.36 ± 0.56
Huang et al. (2019)	-	97.80 ± 0.20	94.60 ± 0.30	69.40 ± 0.60
TextING	79.82 ± 0.20	98.04 ± 0.25	95.48 ± 0.19	70.42 ± 0.39
TextING-M	80.19 ± 0.31	98.13 ± 0.12	95.68 ± 0.35	70.84 ± 0.52

• TextING は4つのベンチマークデータセット（MR、R8、R52、Ohsumed）で最先端のベースラインを上回る。
• 未知語割合が高い誘導設定で顕著な利得を達成する（例：誘導条件下で TextGCN を平均約21.06% 上回る）。
• 文書ごとのグラフはグローバル構造のグラフと比較して分類精度を向上させる微細な語間関係を捉える。
• TextING-M（マルチチャネル）はデータセット全体で性能をさらに向上させる。
• アテンションの可視化は MR で感情ラベルと相関する語をリードアウトが強調することを示している。