[論文レビュー] Feedback Control for Multi-Objective Graph Self-Supervision
ControlGは複数目的グラフSSLを閉ループ制御フレームワークとして再定義し、センシング、パレート意識的プランニング、欠損ベースのPID制御を用いて単一目的ブロックをスケジュールし転送性能を改善する。
Can multi-task self-supervised learning on graphs be coordinated without the usual tug-of-war between objectives? Graph self-supervised learning (SSL) offers a growing toolbox of pretext objectives: mutual information, reconstruction, contrastive learning; yet combining them reliably remains a challenge due to objective interference and training instability. Most multi-pretext pipelines use per-update mixing, forcing every parameter update to be a compromise, leading to three failure modes: Disagreement (conflict-induced negative transfer), Drift (nonstationary objective utility), and Drought (hidden starvation of underserved objectives). We argue that coordination is fundamentally a temporal allocation problem: deciding when each objective receives optimization budget, not merely how to weigh them. We introduce ControlG, a control-theoretic framework that recasts multi-objective graph SSL as feedback-controlled temporal allocation by estimating per-objective difficulty and pairwise antagonism, planning target budgets via a Pareto-aware log-hypervolume planner, and scheduling with a Proportional-Integral-Derivative (PID) controller. Across 9 datasets, ControlG consistently outperforms state-of-the-art baselines, while producing an auditable schedule that reveals which objectives drove learning.
研究の動機と目的
- 各アップデートごとの混合による多目的グラフSSLの不安定性と干渉を動機付ける。
- アップデートごとに混合するのではなく、単一目的をスケジュールする時系列割り当てアプローチを提案する。
- 状態推定、パレート意識的プランニング、PID実行を組み込んだセンシング-プランニング-コントロールループを開発する。
- 学習を推進する目的がどれか、いつ優先されていたかを示す監査可能なスケジュールを提供する。
提案手法
- マルチタスクグラフSSLを閉ループスケジューリング問題として解釈する。3つのループ：センス、プラン、コントロール。
- Sense: 表現-勾配変動による各目的のスペクトル需要を推定し、MGDAベースの勾配幾何学による干渉を評価する。
- Plan: ログヒルベース容量と合成難易度状態で緩和されたパレート意識的割り当てを計算する。
- Control: デフィシット追跡型PIDコントローラを実装し、離散的な単一タスクブロックと監査可能なスケジュールを実現する。
- Schedule決定はブロックレベルのタスク更新のためのソフトマックスベースの確率的セレクタへマッピングされる。
実験結果
リサーチクエスチョン
- RQ1グラフSSLにおいて、性能を損なうことなく時間的割り当てによってアップデートごとの目的の混合を避けられるか？
- RQ2スペクトル需要と勾配干渉をどのように定量化して適応的スケジューリングを推進するか？
- RQ3パレート意識的なログヒルベーヴプランナーとPIDコントロールを組み合わせると、さまざまなグラフベンチマークで堅牢な改善が得られるか？
- RQ4学習を推進する目的がどれかを示すトレーニングスケジュールは監査可能で解釈可能か？
主な発見
| Method | Cora | CiteSeer | Chameleon | Squirrel | Actor | PubMed | Wiki-CS | Co-CS | Arxiv | Avg Rank |
|---|---|---|---|---|---|---|---|---|---|---|
| BGRL | 77.14 ± 2.2 | 35.28 ± 2.1 | 64.87 ± 1.3 | 46.11 ± 1.2 | 31.22 ± 0.5 | 79.94 ± 1.2 | 80.36 ± 0.3 | 93.05 ± 0.4 | 71.24 ± 0.8 | 9.2 |
| DGI | 75.64 ± 1.6 | 63.84 ± 1.6 | 66.27 ± 0.9 | 48.17 ± 1.0 | 30.46 ± 0.7 | 81.28 ± 1.1 | 77.95 ± 0.9 | 93.17 ± 0.4 | 70.86 ± 0.6 | 9.6 |
| GRACE | 68.88 ± 2.1 | 58.96 ± 2.3 | 66.23 ± 0.4 | 54.06 ± 1.2 | 28.80 ± 0.5 | 80.54 ± 0.8 | 79.78 ± 0.3 | 93.62 ± 0.2 | – | 9.1 |
| MVGRL | 79.32 ± 0.9 | 59.68 ± 3.9 | 55.00 ± 1.1 | – | 31.17 ± 0.7 | 78.60 ± 0.9 | – | 90.51 ± 4.5 | – | 12.4 |
| p_link | 76.72 ± 1.0 | 52.76 ± 1.9 | 57.41 ± 3.6 | 36.56 ± 1.3 | 29.00 ± 0.6 | 81.28 ± 0.5 | 79.22 ± 0.3 | 91.92 ± 0.2 | 70.42 ± 0.5 | 13.1 |
| p_recon | 78.76 ± 0.5 | 64.86 ± 1.5 | 69.39 ± 1.3 | 52.33 ± 0.8 | 27.75 ± 0.4 | 76.28 ± 0.9 | 79.88 ± 0.4 | 94.85 ± 0.3 | 71.08 ± 0.4 | 6.8 |
| p_minsg | 76.44 ± 1.1 | 61.74 ± 0.8 | 64.78 ± 1.6 | 47.61 ± 0.9 | 29.16 ± 0.7 | 80.76 ± 1.0 | 79.95 ± 0.2 | 93.44 ± 0.3 | 70.94 ± 0.6 | 10.2 |
| p_decor | 43.86 ± 9.0 | 34.22 ± 5.7 | 52.59 ± 0.8 | 40.88 ± 1.1 | 25.92 ± 0.9 | 75.66 ± 1.3 | 72.60 ± 4.7 | 93.39 ± 0.3 | 68.52 ± 1.2 | 15.6 |
| p_par | 67.22 ± 1.3 | 52.74 ± 1.7 | 57.06 ± 3.4 | 40.96 ± 0.6 | 28.26 ± 1.3 | 74.20 ± 0.8 | 73.56 ± 0.2 | 92.31 ± 0.2 | 69.86 ± 0.7 | 14.7 |
| AutoSSL | 80.30 ± 1.5 | 64.72 ± 1.0 | 70.09 ± 2.0 | 49.99 ± 3.0 | 29.76 ± 0.7 | 80.80 ± 0.7 | 79.82 ± 0.3 | 93.61 ± 0.2 | – | 6.4 |
| WAS | 74.12 ± 3.3 | 57.66 ± 3.5 | 57.59 ± 6.3 | 43.52 ± 2.2 | 29.68 ± 0.5 | 78.62 ± 2.1 | 77.40 ± 1.6 | 92.62 ± 1.3 | 70.68 ± 0.9 | 12.9 |
| Uniform | 77.14 ± 0.9 | 58.68 ± 1.2 | 66.23 ± 1.4 | 49.93 ± 1.0 | 29.26 ± 0.5 | 82.38 ± 0.5 | 80.48 ± 0.2 | 93.97 ± 0.2 | 71.32 ± 0.4 | 7.3 |
| ParetoGNN | 78.26 ± 0.9 | 58.32 ± 1.1 | 65.35 ± 2.2 | 45.00 ± 1.9 | 28.95 ± 1.0 | 67.72 ± 3.3 | 79.94 ± 0.1 | 93.96 ± 0.2 | 70.56 ± 0.8 | 10.8 |
| PCGrad | 79.44 ± 0.8 | 59.66 ± 1.4 | 66.84 ± 1.4 | 49.11 ± 1.3 | 29.63 ± 0.5 | 83.12 ± 0.5 | 80.40 ± 0.2 | 94.07 ± 0.2 | 71.48 ± 0.3 | 5.8 |
| CAGrad | 80.40 ± 0.4 | 62.66 ± 0.3 | 66.75 ± 0.6 | 50.34 ± 1.4 | 29.67 ± 0.5 | 82.84 ± 0.9 | 79.94 ± 0.3 | 94.31 ± 0.1 | 71.62 ± 0.4 | 5.2 |
| Random | 79.06 ± 0.3 | 58.10 ± 1.3 | 63.07 ± 1.8 | 46.22 ± 0.7 | 29.57 ± 1.0 | 80.56 ± 0.8 | 80.10 ± 0.2 | 93.39 ± 0.2 | 71.18 ± 0.5 | 9.4 |
| Round-Robin | 78.52 ± 2.0 | 59.90 ± 1.1 | 64.61 ± 1.1 | 48.17 ± 1.1 | 30.07 ± 0.5 | 80.78 ± 0.5 | 80.22 ± 0.1 | 94.11 ± 0.2 | 71.28 ± 0.4 | 7.4 |
| ControlG | 81.92 ± 0.9 | 66.48 ± 1.1 | 69.54 ± 1.0 | 53.18 ± 0.9 | 31.20 ± 0.6 | 84.24 ± 0.7 | 80.45 ± 0.3 | 96.14 ± 0.2 | 72.86 ± 0.3 | 1.4 |
- ControlGは9データセットでノード分類、リンク予測、ノードクラスタリングの平均ランクで最高を実現した。
- ControlGは同型グラフ（例：Cora、PubMed）で強い利得を示し、異種同形グラフでも競争力を維持し、重み付けベースのベースラインを上回る。
- ControlGはデータセット全体でノード分類の平均ランク1.4、リンク予測1.9、ノードクラスタリング1.8を達成。
- ogbn-arxivではControlGは72.86%の精度に到達し、CAGradを1.2%上回る。
- アブレーション解析によりスペクトル需要とプランナー成分の寄与が示され、それらを除くと性能が劣化する。
- ControlGは優先された目的とそれが実行された時期を示す監査可能なスケジュールを生成する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。