[論文レビュー] Learnable Graph Convolutional Network and Feature Fusion for Multi-view Learning

Zhaoliang Chen, Lele Fu+4 more|arXiv (Cornell University)|Nov 16, 2022

Advanced Computing and Algorithms被引用数 7

ひとこと要約

本稿では、特徴融合と学習可能なグラフ畳み込みネットワークを同時に最適化するエンドツーエンドフレームワークLGCN-FFを提案する。スパースオートエンコーダー、全結合融合ネットワーク、および微分可能スプライシング活性化（DSA）関数を統合することで、適応的隣接行列学習が可能となり、複数のベンチマークデータセットにおいて最先端手法を上回る優れた性能を達成した。

ABSTRACT

In practical applications, multi-view data depicting objectives from assorted perspectives can facilitate the accuracy increase of learning algorithms. However, given multi-view data, there is limited work for learning discriminative node relationships and graph information simultaneously via graph convolutional network that has drawn the attention from considerable researchers in recent years. Most of existing methods only consider the weighted sum of adjacency matrices, yet a joint neural network of both feature and graph fusion is still under-explored. To cope with these issues, this paper proposes a joint deep learning framework called Learnable Graph Convolutional Network and Feature Fusion (LGCN-FF), consisting of two stages: feature fusion network and learnable graph convolutional network. The former aims to learn an underlying feature representation from heterogeneous views, while the latter explores a more discriminative graph fusion via learnable weights and a parametric activation function dubbed Differentiable Shrinkage Activation (DSA) function. The proposed LGCN-FF is validated to be superior to various state-of-the-art methods in multi-view semi-supervised classification.

研究の動機と目的

• 特徴融合とグラフ融合を別々に処理する従来のマルチビュー学習手法の限界を解消し、最適でない表現学習を回避すること。
• KNNに基づくグラフ構築におけるノイズや不正確さの問題を克服し、学習可能で微分可能なグラフ融合メカニズムを導入すること。
• 特徴とグラフ表現を同時に最適化する統合学習戦略により、下流の分類性能を向上させること。
• 学習可能で微分可能な活性化関数としての新しい微分可能スプライシング活性化（DSA）関数を開発し、訓練中に隣接行列を精緻化することで、学習されたノード関係の頑健性と識別性を向上させること。

提案手法

• 異種のビューから事前に融合する前に、低次元の潜在表現を抽出するために複数のスパースオートエンコーダーを用いる。
• すべてのビューからの特徴を統合し、統一的で共有された表現に変換するために、全結合ネットワークを用いる。
• 各ビューの特徴からKNNに基づく類似度計算により、複数の初期グラフを構築する。
• アテンションのような重みを最適化してエンドツーエンドで最適化される、学習可能な重み付き和を用いて複数のグラフを融合する。
• 学習可能で微分可能な活性化関数としての微分可能スプライシング活性化（DSA）関数を導入し、スパarsityと頑健性を促進することで、統合された隣接行列を精緻化する。
• 特徴再構成、統合の一貫性、グラフ畳み込みネットワーク分類損失の3つの損失成分を備えたマルチステージ最適化戦略を用いて、全体のフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 特徴融合とグラフ融合を同時に最適化することで、逐次的または独立的な処理と比較して、マルチビュー半教師あり分類の性能が向上するか？
• RQ2 提案された微分可能スプライシング活性化（DSA）関数は、隣接行列の精緻化およびグラフ表現の頑健性向上にどの程度有効か？
• RQ3 特徴とグラフ融合コンポーネントをエンドツーエンドで訓練することで、最先端の手法と比較してより良い一般化性能と低い分類誤差が達成されるか？
• RQ4 提案されたフレームワークは、KNNベースのグラフ構築におけるノイズや誤ったエッジの悪影響をどの程度軽減するか？

主な発見

• LGCN-FFフレームワークは、評価されたすべてのマルチビュー半教師あり分類ベンチマークで優れた性能を達成し、最先端手法を上回った。
• すべてのデータセットで、交差エントロピー損失（$\mathcal{L}_{lgcn}$）の収束が安定しており、500イテレーション以内に最小値に達した。これは、効果的で信頼性の高い訓練が行われていることを示している。
• 特徴融合コンポーネントの損失（$\mathcal{L}_{fc}$）は、約100イテレーション後には顕著に減少した。これは、オートエンコーダーの埋め込みが安定した後、融合ネットワークが意味のある表現を学習し始めたことを示している。
• DSA関数により、隣接行列の適応的精緻化が可能となり、ALOI、BBCnews、BBCsports、MNISTデータセットで顕著な性能向上が観察された。損失曲線の同期的な低下が確認された。
• ノイズの多いグラフ構造に対してもフレームワークは頑健である。初期訓練段階での変動にもかかわらず、$\mathcal{L}_{lgcn}$の収束が安定しており、そのことが裏付けた。
• 統合学習戦略により、グラフ学習コンポonentからのフィードバックに基づいて、特徴融合ネットワークが反復的に共有埋め込みを改善でき、結果としてより高い下流分類精度が得られた。