[논문 리뷰] Feedback Control for Multi-Objective Graph Self-Supervision

Karish Grover, Theodore Vasiloudis외 4명|arXiv (Cornell University)|2026. 02. 04.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

ControlG은 다목적 그래프 SSL을 폐루프 시간 할당으로 재구성하고, sensing, Pareto 인지 계획, deficit 기반 PID 제어를 사용하여 단일 목적 블록을 스케줄링하고 전이 성능을 향상시킵니다.

ABSTRACT

Can multi-task self-supervised learning on graphs be coordinated without the usual tug-of-war between objectives? Graph self-supervised learning (SSL) offers a growing toolbox of pretext objectives: mutual information, reconstruction, contrastive learning; yet combining them reliably remains a challenge due to objective interference and training instability. Most multi-pretext pipelines use per-update mixing, forcing every parameter update to be a compromise, leading to three failure modes: Disagreement (conflict-induced negative transfer), Drift (nonstationary objective utility), and Drought (hidden starvation of underserved objectives). We argue that coordination is fundamentally a temporal allocation problem: deciding when each objective receives optimization budget, not merely how to weigh them. We introduce ControlG, a control-theoretic framework that recasts multi-objective graph SSL as feedback-controlled temporal allocation by estimating per-objective difficulty and pairwise antagonism, planning target budgets via a Pareto-aware log-hypervolume planner, and scheduling with a Proportional-Integral-Derivative (PID) controller. Across 9 datasets, ControlG consistently outperforms state-of-the-art baselines, while producing an auditable schedule that reveals which objectives drove learning.

연구 동기 및 목표

• 다중-objective 그래프 SSL에서 업데이트당 혼합으로 인한 불안정성과 간섭을 설명합니다.
• 업데이트당 혼합이 아니라 단일 목표를 스케줄링하는 시간적 할당 접근법을 제안합니다.
• 상태 추정, Pareto 인지 계획, PID 실행으로 sensing-planning-control 루프를 개발합니다.
• 학습을 주도하는 목표와 시점을 드러내는 감사 가능한 스케줄을 제공합니다.

제안 방법

• 다중 태스크 그래프 SSL을 sense, plan, control의 세 가지 루프가 있는 폐루프 스케줄링 문제로 해석합니다.
• Sense: 표현-기울기 변화와 MGDA 기반 그래디언트 기하를 통한 간섭을 통해 각 목표의 스펙트럴 수요를 추정합니다.
• Plan: 결합된 난이도 상태로 보정된 로그-하이퍼볼륨 민감도를 사용해 Pareto-인식 할당을 계산합니다.
• Control: 디스크리트 단일 작업 블록과 감사 가능한 스케일을 구현하기 위해 deficit-tracking PID 컨트롤러를 실행합니다.
• 스케줄 결정은 블록 수준의 작업 업데이트를 위한 소프트맥스 기반 확률 선택기로 매핑됩니다.

Figure 3 : Time per step on Cora. Bar plot comparing wall-clock time (ms) per optimizer step across all methods. ControlG (highlighted in teal) incurs modest overhead compared to simple scheduling baselines (p_par, Random, Round-Robin) but is significantly faster than heavyweight methods like AutoSS

실험 결과

연구 질문

• RQ1 그래프 SSL에서 시간적 할당으로 업데이트당 목표 혼합 없이도 성능을 저하시키지 않고 피할 수 있는가?
• RQ2 스펙트럴 수요와 그래디언트 간섭을 어떻게 정량화하여 적응형 스케줄링을 이끌 수 있는가?
• RQ3 Pareto-인식 로그-하이퍼볼륨 플래너가 PID 제어와 결합될 때 다양한 그래프 벤치마크에서 견고한 개선을 낳는가?
• RQ4 생성된 학습 일정이 어떤 목표가 학습을 주도하는지에 대해 감사 가능하고 해석 가능하며 설명 가능한가?

주요 결과

방법	Cora	CiteSeer	Chameleon	Squirrel	Actor	PubMed	Wiki-CS	Co-CS	Arxiv	평균 순위
BGRL	77.14 ± 2.2	35.28 ± 2.1	64.87 ± 1.3	46.11 ± 1.2	31.22 ± 0.5	79.94 ± 1.2	80.36 ± 0.3	93.05 ± 0.4	71.24 ± 0.8	9.2
DGI	75.64 ± 1.6	63.84 ± 1.6	66.27 ± 0.9	48.17 ± 1.0	30.46 ± 0.7	81.28 ± 1.1	77.95 ± 0.9	93.17 ± 0.4	70.86 ± 0.6	9.6
GRACE	68.88 ± 2.1	58.96 ± 2.3	66.23 ± 0.4	54.06 ± 1.2	28.80 ± 0.5	80.54 ± 0.8	79.78 ± 0.3	93.62 ± 0.2	–	9.1
MVGRL	79.32 ± 0.9	59.68 ± 3.9	55.00 ± 1.1	–	31.17 ± 0.7	78.60 ± 0.9	–	90.51 ± 4.5	–	12.4
p_link	76.72 ± 1.0	52.76 ± 1.9	57.41 ± 3.6	36.56 ± 1.3	29.00 ± 0.6	81.28 ± 0.5	79.22 ± 0.3	91.92 ± 0.2	70.42 ± 0.5	13.1
p_recon	78.76 ± 0.5	64.86 ± 1.5	69.39 ± 1.3	52.33 ± 0.8	27.75 ± 0.4	76.28 ± 0.9	79.88 ± 0.4	94.85 ± 0.3	71.08 ± 0.4	6.8
p_minsg	76.44 ± 1.1	61.74 ± 0.8	64.78 ± 1.6	47.61 ± 0.9	29.16 ± 0.7	80.76 ± 1.0	79.95 ± 0.2	93.44 ± 0.3	70.94 ± 0.6	10.2
p_decor	43.86 ± 9.0	34.22 ± 5.7	52.59 ± 0.8	40.88 ± 1.1	25.92 ± 0.9	75.66 ± 1.3	72.60 ± 4.7	93.39 ± 0.3	68.52 ± 1.2	15.6
p_par	67.22 ± 1.3	52.74 ± 1.7	57.06 ± 3.4	40.96 ± 0.6	28.26 ± 1.3	74.20 ± 0.8	73.56 ± 0.2	92.31 ± 0.2	69.86 ± 0.7	14.7
AutoSSL	80.30 ± 1.5	64.72 ± 1.0	70.09 ± 2.0	49.99 ± 3.0	29.76 ± 0.7	80.80 ± 0.7	79.82 ± 0.3	93.61 ± 0.2	–	6.4
WAS	74.12 ± 3.3	57.66 ± 3.5	57.59 ± 6.3	43.52 ± 2.2	29.68 ± 0.5	78.62 ± 2.1	77.40 ± 1.6	92.62 ± 1.3	70.68 ± 0.9	12.9
Uniform	77.14 ± 0.9	58.68 ± 1.2	66.23 ± 1.4	49.93 ± 1.0	29.26 ± 0.5	82.38 ± 0.5	80.48 ± 0.2	93.97 ± 0.2	71.32 ± 0.4	7.3
ParetoGNN	78.26 ± 0.9	58.32 ± 1.1	65.35 ± 2.2	45.00 ± 1.9	28.95 ± 1.0	67.72 ± 3.3	79.94 ± 0.1	93.96 ± 0.2	70.56 ± 0.8	10.8
PCGrad	79.44 ± 0.8	59.66 ± 1.4	66.84 ± 1.4	49.11 ± 1.3	29.63 ± 0.5	83.12 ± 0.5	80.40 ± 0.2	94.07 ± 0.2	71.48 ± 0.3	5.8
CAGrad	80.40 ± 0.4	62.66 ± 0.3	66.75 ± 0.6	50.34 ± 1.4	29.67 ± 0.5	82.84 ± 0.9	79.94 ± 0.3	94.31 ± 0.1	71.62 ± 0.4	5.2
Random	79.06 ± 0.3	58.10 ± 1.3	63.07 ± 1.8	46.22 ± 0.7	29.57 ± 1.0	80.56 ± 0.8	80.10 ± 0.2	93.39 ± 0.2	71.18 ± 0.5	9.4
Round-Robin	78.52 ± 2.0	59.90 ± 1.1	64.61 ± 1.1	48.17 ± 1.1	30.07 ± 0.5	80.78 ± 0.5	80.22 ± 0.1	94.11 ± 0.2	71.28 ± 0.4	7.4
ControlG	81.92 ± 0.9	66.48 ± 1.1	69.54 ± 1.0	53.18 ± 0.9	31.20 ± 0.6	84.24 ± 0.7	80.45 ± 0.3	96.14 ± 0.2	72.86 ± 0.3	1.4

• ControlG는 9개 데이터세트에서 노드 분류, 링크 예측, 노드 클러스터링에 걸쳐 평균 순위가 가장 높습니다.
• ControlG는 동종 그래프에서 강한 이득을 보이고(예: Cora, PubMed), 이질적 그래프에서도 경쟁력을 유지하며 가중치 기반 기준선보다 우수합니다.
• ControlG는 데이터세트 전반에 걸쳐 노드 분류에서 평균 순위 1.4, 링크 예측 1.9, 노드 클러스터링 1.8을 달성합니다.
• ogbn-arxiv에서 ControlG는 72.86% 정확도를 달성하여 CAGrad보다 1.2% 향상되었습니다.
• 적분 실험은 스펙트럴 수요와 플래너 구성요소의 기여 역할을 보여주며, 이를 제거하면 성능이 저하되었습니다.
• ControlG는 어떤 목표가 언제 우선순위가 되었는지 드러내는 감사 가능한 스케줄을 생성합니다.

Figure 4 : Task scheduling timeline. Top: Scatter plot showing which pretext task was selected at each training block (raster view). Bottom: Stacked area chart showing the running proportion of recent blocks allocated to each task. The visualization reveals how ControlG dynamically shifts focus betw