[論文レビュー] TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification

Jaeyun Song, Joonhyung Park+1 more|arXiv (Cornell University)|Jun 26, 2022

Advanced Graph Neural Networks被引用数 14

ひとこと要約

本稿では、局所的なノードトポロジーに基づいて分類マージンを動的に調整する新しい損失関数であるTopology-Aware Margin (TAM) を提案する。この手法は、クラス不均衡なノード分類における誤検出（偽陽性）を軽減することを目的としている。近隣ラベルの分布とクラスペア間の接続性を分析することで、主要クラスに高い接続性を持つ少数クラスノードによる過剰補正を抑制し、GCN、GAT、GraphSAGEアーキテクチャを用いたcitation、WebKB、Wikipediaネットワークにおいて一貫してGNNの性能を向上させる。

ABSTRACT

Learning unbiased node representations under class-imbalanced graph data is challenging due to interactions between adjacent nodes. Existing studies have in common that they compensate the minor class nodes `as a group' according to their overall quantity (ignoring node connections in graph), which inevitably increase the false positive cases for major nodes. We hypothesize that the increase in these false positive cases is highly affected by the label distribution around each node and confirm it experimentally. In addition, in order to handle this issue, we propose Topology-Aware Margin (TAM) to reflect local topology on the learning objective. Our method compares the connectivity pattern of each node with the class-averaged counter-part and adaptively adjusts the margin accordingly based on that. Our method consistently exhibits superiority over the baselines on various node classification benchmark datasets with representative GNN architectures.

研究の動機と目的

• クラス不均衡なグラフデータにおいて少数クラスノードを補正する際、主要クラスでの誤検出（偽陽性）が増加する問題に取り組む。
• 特に近隣ラベル分布に注目し、少数クラス補正の過程で主要クラスの性能低下がどのように局所的ノードトポロジーに起因するかを調査する。
• グローバルなクラス統計ではなく、ノード固有の接続性パターンに基づいてマージン損失を適応的に調整する手法を開発する。
• 既存の不均衡対策手法のコア機構を変更せずに、容易に統合可能な仕組みを実現する。
• 損失関数にクラスペア間の接続性と局所的トポロジーを組み込むことで、モデルのキャリブレーションと公平性を向上させる。

提案手法

• 少数ノードが特定のクラスに異常に高い近隣密度を持つ場合、そのクラスのマージンを小さくするAnomalous Connectivity-aware Margin (ACM) を導入する。
• ターゲットクラスの平均近隣統計を用いて誤認識の可能性を推定し、それに応じてマージンを調整するAnomalous Distribution-aware Margin (ADM) を提案する。
• ノードレベルのロジット調整を用いて、予想されるクラス接続性パターンからのトポロジーのずれに応じて動的に分類マージンを変更する。
• 各ノードの周辺トポロジーを定量化するため、近隣ラベル分布 $\mathcal{D}$ とクラス別接続性行列 $\mathcal{C}$ を定義する。
• 既存の損失関数修正手法（例：フォーカル損失、クラスバランス損失）と組み合わせ、学習中にノード単位のマージン調整を適用する。
• グローバルな同質性仮定に依存せず、局所的な構造的ずれに注目することで、同質的・非同質的両方のグラフに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 少数ノードの周囲における近隣ラベル分布が、訓練中に主要クラスの偽陽性率にどのように影響を与えるか？
• RQ2 ノードが主要クラスに高い接続性を持つ場合、不均衡なグラフ学習における過学習や誤分類がどの程度悪化するか？
• RQ3 局所的トポロジーに基づく適応的マージン調整は、ベースとなるGNNアーキテクチャを変更せずに一般化性能を向上させ、偽陽性を低減できるか？
• RQ4 TAMは、GCN、GAT、GraphSAGEなどの異なるGNNアーキテクチャおよび同質的・非同質的グラフタイプにおいて、クラス不均衡な状況下でどのように性能を発揮するか？
• RQ5 TAMは、既存の損失ベースやデータ拡張戦略と効果的に組み合わせ可能か、ノード分類におけるクラス不均衡の緩和に有効か？

主な発見

• 主要クラスに高い接続性を持つ少数ノードは、均一に補正が行われる場合、主要ノードの偽陽性予測を顕著に増加させる。
• 偽陽性率は一様に分布しない。主に主要クラスに高い接続性を持つ少数ノードの周囲で急激に上昇し、局所的トポロジーの役割が裏付けられる。
• TAMは、高接続性の少数ノード領域において平均で最大30％の偽陽性削減を達成し、キャリブレーションと公平性の向上に寄与する。
• ベースライン損失手法（例：フォーカル損失）と組み合わせた場合、citation、WebKB、Wikipediaネットワークの全範囲でF1-macroスコアが一貫して向上する。
• citationネットワーク（PubMed、Cora、Citeseer）では、クラスバランス損失と組み合わせたTAMが、最先端のベースラインを上回り、F1-macroスコアを2.1–4.3％向上させる。
• Wikipediaのような非同質的グラフにおいてもTAMは高い性能を維持しており、同質性仮定を超えた堅牢性を示している。