[論文レビュー] Multi-view Graph Convolutional Networks with Differentiable Node Selection

Zhaoliang Chen, Lele Fu+4 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、マルチビューのデータからロバストで適応的なグラフトポロジーを学習することで、半教師あり分類を向上させる、微分可能ノード選択を備えたマルチビュー・グラフ畳み込みネットワーク、MGCN-DNSを提案する。微分可能ノード選択機構と適応的グラフ統合を統合することで、ノイズの干渉を低減しながら特徴表現を強化し、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Multi-view data containing complementary and consensus information can facilitate representation learning by exploiting the intact integration of multi-view features. Because most objects in real world often have underlying connections, organizing multi-view data as heterogeneous graphs is beneficial to extracting latent information among different objects. Due to the powerful capability to gather information of neighborhood nodes, in this paper, we apply Graph Convolutional Network (GCN) to cope with heterogeneous-graph data originating from multi-view data, which is still under-explored in the field of GCN. In order to improve the quality of network topology and alleviate the interference of noises yielded by graph fusion, some methods undertake sorting operations before the graph convolution procedure. These GCN-based methods generally sort and select the most confident neighborhood nodes for each vertex, such as picking the top-k nodes according to pre-defined confidence values. Nonetheless, this is problematic due to the non-differentiable sorting operators and inflexible graph embedding learning, which may result in blocked gradient computations and undesired performance. To cope with these issues, we propose a joint framework dubbed Multi-view Graph Convolutional Network with Differentiable Node Selection (MGCN-DNS), which is constituted of an adaptive graph fusion layer, a graph learning module and a differentiable node selection schema. MGCN-DNS accepts multi-channel graph-structural data as inputs and aims to learn more robust graph fusion through a differentiable neural network. The effectiveness of the proposed method is verified by rigorous comparisons with considerable state-of-the-art approaches in terms of multi-view semi-supervised classification tasks.

研究の動機と目的

• GCNに基づくマルチビュー学習における非微分可能なソートの制限、特にtop-kノード選択が勾配伝搬とモデル最適化を妨げる問題に対処すること。
• 視覚的特徴の不均一性に起因するノイズ干渉を低減し、グラフトポロジーの質を向上させるために、適応的で微分可能なノード選択とグラフ統合を学習すること。
• 複数チャネルのグラフ構造的データを、微分可能でエンドツーエンドで学習可能なアーキテクチャによって統合する統合フレームワークを構築すること。
• 適応的統合とスパarsificationを用いて、マルチビュー半教師あり分類タスクにおけるロバストで汎用性の高いグラフ埋め込み学習を可能にすること。
• 固定されたk近傍選択の硬さを克服し、バックプロパゲーションをサポートする学習可能で連続的な選択メカニズムを導入すること。

提案手法

• フレームワークは、複数のKNNベースのグラフを統合するための視覚固有の注意重み（α）を学習する2段階の適応的グラフ統合層を採用する。
• 非微分可能なtop-kソートに代えて、Gumbel-Softmax再パrameterizationトリックを用いた置換行列の連続的リラクゼーションにより、微分可能なノード選択メカニズムを実装する。
• グラフ学習モジュールは、微分可能な操作を通じて隣接行列を更新することで、統合されたグラフを精緻化し、エンドツーエンド学習を可能にする。
• ノード表現は、微分可能な方法で選択された信頼性の高い近隣ノードからの特徴を集約するグラフ畳み込み層によって更新される。
• モデルは、選択プロセスの滑らかさを制御するための学習可能な温度パrameter τ とスケーリング係数 γ を使用する。
• 全体的なアーキテクチャは、ラベル付きデータに対する交差エントロピー損失を用いてエンドツーエンドで学習され、微分可能な選択および統合コンponentを通じたバックプロパゲーションが実行される。

実験結果

リサーチクエスチョン

• RQ1 非微分可能なtop-k選択と比較して、微分可能なノード選択はマルチビューGCNの最適化と性能を向上させるか？
• RQ2 学習可能な注意重みを有する適応的グラフ統合は、マルチビュー半教師あり分類における表現学習をどのように向上させるか？
• RQ3 提案手法は、マルチビューグラフ学習における異種ビュー由来のノイズ干渉をどの程度低減するか？
• RQ4 微分可能な選択メカニズムにおけるハイパーパrameter γ と τ へのモデル性能の感受性はどの程度か？
• RQ5 このフレームワークは、標準的なマルチビューベンチマークデータセットで最先端の性能を達成できるか？

主な発見

• MGCN-DNSは、Caltech-20、NUS-WIDE、Youtubeを含む複数のベンチマークマルチビューデータセットで最先端の性能を達成し、既存のGCNベースおよびマルチビュー学習手法を上回った。
• ハイパーパrameter設定に対して頑健であることが示され、τ > 0.4 かつ γ が十分に大きい場合に最適な性能が得られ、安定した最適化が示された。
• 感度分析から、τ の小さな値（＜0.3）は、特にBBCnewsにおいて顕著に性能を低下させ、ソフト置換行列が硬いものに収束するためであることが判明した。
• 可視化により、モデルが意味のある注意重み（α）を学習していることが確認され、補完的情報を提供するビューに高い重みを割り当て、情報量の少ないビューには低い重みを割り当てていることが示された。
• 訓練損失は急速に減少し、200イテレーション以内に収束することが確認され、高い訓練効率を示したが、過剰な訓練ではテスト精度が plateau または低下する傾向にあり、過学習のリスクがあることが示唆された。
• 微分可能なノード選択メカニズムにより、効果的なバックプロパゲーションとエンドツーエンド最適化が可能となり、従来の方法で生じる勾配の遮断を克服した。