[論文レビュー] Graph Convolutional Networks for Classification with a Structured Label Space

Meihao Chen, Zhuo-Ru Lin+1 more|arXiv (Cornell University)|Oct 12, 2017

Machine Learning and Data Classification参考文献 28被引用数 17

ひとこと要約

本稿では、既知のラベルグラフ構造を活用して、特にトップ-k予測の意味的関連性を向上させる多クラス分類を改善する、グラフ畳み込みネットワーク（GCN）を拡張したニューラルネットワーク分類器を提案する。入力表現とクラス表現を連結し、その上でGCN層を積み重ねることで、構造的関係を尊重するラベル固有の特徴を学習する。このモデルは、予測直径や真値からの距離といったグラフ理論的指標において、文書分類およびオブジェクト認識タスクにおいてベースラインモデルを上回る性能を示す。

ABSTRACT

It is a usual practice to ignore any structural information underlying classes in multi-class classification. In this paper, we propose a graph convolutional network (GCN) augmented neural network classifier to exploit a known, underlying graph structure of labels. The proposed approach resembles an (approximate) inference procedure in, for instance, a conditional random field (CRF). We evaluate the proposed approach on document classification and object recognition and report both accuracies and graph-theoretic metrics that correspond to the consistency of the model's prediction. The experiment results reveal that the proposed model outperforms a baseline method which ignores the graph structures of a label space in terms of graph-theoretic metrics.

研究の動機と目的

• 標準的な多クラス分類器がラベル間の構造的関係を無視するという限界に対処すること。
• 分類プロセスに既知のラベル関係を組み込むことで、トップ-k予測の関連性を向上させること。
• 反復的確率的推論を用いることなく、構造的推論を近似する深層学習フレームワークを開発すること。
• 階層的または相関関係のあるラベルを有するタスク、例えば文書分類やオブジェクト認識においてモデルを評価すること。
• 標準的な正確性を超えて、モデル予測の意味的整合性を評価するためのグラフ理論的指標を導入すること。

提案手法

• モデルは、ノードがクラスを表し、エッジが既知の関係を符号化するグラフ構造のラベル空間をGCNで処理する。
• 入力特徴とクラス埋め込みを連結し、複数のGCN層を通過させてラベルに依存する表現を生成する。
• 最終的な分類器は、入力表現とGCN処理済みのクラス埋め込みとのドット積に基づくスコア関数を用いる。
• ネットワーク全体を標準的な誤差逆伝播法によりエンドツーエンドで訓練し、CRF や MRF で用いられる複雑な推論手順を回避する。
• ラベルグラフを介したメッセージパッシングにより、構造的情報をクラス表現に伝搬する。
• 予測直径や真値からの距離といったグラフ理論的指標を用いて、トップ-k予測の意味的整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベル構造を活用することで、GCN拡張ニューラルネットワークは多クラス分類におけるトップ-k予測の意味的関連性を向上させることができるか？
• RQ2 本稿で提案するモデルは、標準的なMLPおよびCRFベースのモデルと比較して、正確性およびグラフ理論的指標の両面で優れているか？
• RQ3 構造的認識なしで学習した場合と比較して、ラベルグラフ構造が予測品質に与える影響の程度はどの程度か？
• RQ4 ラベルグラフを介したメッセージパッシングは、独立したクラス埋め込みと比較して、より一貫性があり意味的に整合性の高い予測をもたらすか？
• RQ5 本手法は、WordNet階層や定義に基づく類似度グラフなど、さまざまなタイプのラベルグラフに一般化可能か？

主な発見

• GCNTDモデルは、特にkが増加するにつれて、標準的なMLPおよびMLP-CRFベースラインと比較してトップ-kの正確性と再現率が顕著に向上しており、意味的に関連する予測のクラスタリングが良好であることが示された。
• 文書分類データセットでは、GCNTDはトップ1の正確度83%、トップ10の正確度95%を達成し、予測直径2.40、真値からの平均距離1.35を記録した。
• 完全接続されたラベルグラフを仮定するGCNTD-FCバージョンは、最高の正確度（84%）と最良のグラフ理論的指標を達成し、完全なメッセージパッシングの利点を裏付けた。
• オブジェクト認識タスクでは、MLPに比べてGCNTDが予測直径や距離といったグラフ理論的指標を改善したが、標準的正確度ではMLPがわずかに優れていた。
• アンサンブル手法により、GCNTDの性能はMLPよりも顕著に向上したが、特にトップ1およびトップ10の正確度で顕著で、不確実性下での一般化能力の優位性が示された。
• 予測が真値に意味的に近づいており、特に文書分類タスクにおいて、予測直径が低く、真値からの距離が小さくなった。