[논문 리뷰] UniHetCO: A Unified Heterogeneous Representation for Multi-Problem Learning in Unsupervised Neural Combinatorial Optimization

Kien X. Nguyen, Ilya Safro|arXiv (Cornell University)|2026. 03. 12.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

UniHetCO는 하나의 이질적 그래프 표현과 비지도 QUBO 기반 손실로 여러 조합 최적화 문제를 하나로 통합하고, 안정적인 다문제 학습과 강한 문제 간 적응을 위해 그래디언트 노름 기반의 동적 가중치를 사용한다.

ABSTRACT

Unsupervised neural combinatorial optimization (NCO) offers an appealing alternative to supervised approaches by training learning-based solvers without ground-truth solutions, directly minimizing instance objectives and constraint violations. Yet for graph node subset-selection problems (e.g., Maximum Clique and Maximum Independent Set), existing unsupervised methods are typically specialized to a single problem class and rely on problem-specific surrogate losses, which hinders learning across classes within a unified framework. In this work, we propose UniHetCO, a unified heterogeneous graph representation for constrained quadratic programming-based combinatorial optimization that encodes problem structure, objective terms, and linear constraints in a single input. This formulation enables training a single model across multiple problem classes with a unified label-free objective. To improve stability under multi-problem learning, we employ a gradient-norm-based dynamic weighting scheme that alleviates gradient imbalance among classes. Experiments on multiple datasets and four constrained problem classes demonstrate competitive performance with state-of-the-art unsupervised NCO baselines, strong cross-problem adaptation potential, and effective warm starts for a commercial classical solver under tight time limits.

연구 동기 및 목표

• 정답 솔루션 없이 비지도 설정에서 여러 그래프 노드 부분 집합 선택 문제를 해결하도록 동기를 부여한다.
• 문제 구조, 목표 용어, 선형 제약을 문제 클래스 전반에 걸쳐 인코딩하는 통합 입력 표현을 개발한다.
• 레이블 없이 보편 손실로 여러 문제 클래스에 걸쳐 단일 모델을 학습할 수 있도록 한다.
• 다영역 학습에서의 그래디언트 불균형을 그래디언트 노름 기반의 동적 가중치 방식으로 해결한다.

제안 방법

• 문제 그래프, 목적 그래프, 제약 하이퍼그래프를 하나의 이질적 그래프로 인코딩하는 통합 이질적 입력 표현을 제안한다.
• 목표 및 제약 페널티를 결합한 보편적 QUBO 기반 비지도 손실로 학습 목표를 공식화한다.
• 문제 구조, 목적 결합, 제약 개재에 대해 별도의 메시지 전파 채널을 갖는 다중 관계 GNN을 사용하고, 이후 Fusion과 FCN을 통한 이완된 선택으로 이어진다.
• 훈련 중 다중 문제 클래스의 기여를 균형 있게 하기 위해 그래디언트 노름 기반의 동적 가중치(GradNorm 영감) 를 적용한다.
• 레이블이 없는 비지도 방식으로 이완된 목적과 제약 페널티를 최소화하여 학습하고, 추론 시 타당한 이산 해로 투사한다.

Figure 1: High-level comparison between existing single-problem (top) and our multi-problem (bottom) neural combinatorial optimization framework. By encoding objectives and constraints into the input graph, our approach enables joint training across multiple problem classes.

실험 결과

연구 질문

• RQ1 단일 통합 대리 손실이 서로 다른 CO 클래스 전반에 걸친 문제 특화 대리손실과 일치할 수 있는가?
• RQ2 통합 손실 하에서 다중 문제 학습과 단일 문제 학습 간의 트레이드오프는 무엇인가?
• RQ3 제로샷 또는 소수샷 설정에서 보지 않은 문제 클래스에 모델이 얼마나 일반화될 수 있는가?
• RQ4 제한된 시간 한도에서 고전 솔버의 워밍 스타트로서 모델 예측의 효과는 얼마나 되는가?

주요 결과

• 통합 이질 그래프 표현은 단일 모델을 다수 CO 문제 클래스에 걸쳐 학습시키는 보편적 QUBO 기반 비지도 손실을 가능하게 한다.
• 다이나믹 그래디언트 노멀라이제이션은 문제 클래스 간 그래디언트 기여를 균형 있게 하여 다중 문제 학습을 안정시킨다.
• UniHetCO 프레임워크는 여러 데이터셋 및 문제 클래스에서 최첨단 비지도 기준선과 경쟁력 있는 성능을 달성한다.
• 다중 문제 학습은 경우에 따라 강한 문제 간 적응을 제공하고, 문제 클래스 및 데이터셋에 따라 다른 트레이드오프를 드러낸다.
• UniHetCO의 예측 해는 짧은 시간 한도에서 Gurobi 솔버의 효과적인 워밍 스타트가 될 수 있다.

Figure 2: Examples of MIS, MC, MVC and MDS instances encoded in our unified heterogeneous graph. The objectives and constraints are listed for each problem class, along with a simple example for $\mathbf{Q},\mathbf{c},\mathbf{A},$ and $\mathbf{b}$ and the corresponding heterogeneous graph defined in