[논문 리뷰] The Offline-Frontier Shift: Diagnosing Distributional Limits in Generative Multi-Objective Optimization

Stephanie Holly, Alexandru-Ciprian Zăvoianu외 3명|arXiv (Cornell University)|2026. 02. 11.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

이 논문은 오프라인 다목적 최적화(MOO)를 분석하고, 생성적 방법이 하이퍼볼륨에서 강력하지만 오프라인-프론티어 시프트로 인해 다른 지표에서는 진화적 방법보다 성능이 떨어져 목표 공간의 분포 탐색이 제약된다는 것을 보인다.

ABSTRACT

Offline multi-objective optimization (MOO) aims to recover Pareto-optimal designs given a finite, static dataset. Recent generative approaches, including diffusion models, show strong performance under hypervolume, yet their behavior under other established MOO metrics is less understood. We show that generative methods systematically underperform evolutionary alternatives with respect to other metrics, such as generational distance. We relate this failure mode to the offline-frontier shift, i.e., the displacement of the offline dataset from the Pareto front, which acts as a fundamental limitation in offline MOO. We argue that overcoming this limitation requires out-of-distribution sampling in objective space (via an integral probability metric) and empirically observe that generative methods remain conservatively close to the offline objective distribution. Our results position offline MOO as a distribution-shift--limited problem and provide a diagnostic lens for understanding when and why generative optimization methods fail.

연구 동기 및 목표

• 평가가 이용 불가능하고 데이터가 고정된 오프라인 데이터셋에서 오는 오프라인 MOO를 동기 부여하고 연구한다.
• 오프라인 MOO에서 하이퍼볼륨을 넘어서 확산(diffusion) 및 흐름(flow) 기반 방법을 포함한 생성 모델링 접근법을 평가한다.
• 오프라인-프론티어 시프트를 분포적 한계로 도입하고 형식화한다.
• 여러 MOO 지표에 걸쳐 생성적 방법과 진화적 방법을 실증적으로 비교하여 한계를 진단한다.

제안 방법

• 오프라인 MOO를 파레토 프런트를 매니폴드로, 오프라인 데이터 분포 P_off로 형식화한다.
• 오프라인-프론티어 시프트 s(P_off)를 오프라인 목표 샘플과 파레토 프런트 간의 기댓값 제곱 거리로 정의한다.
• 생성 방법의 성능을 적분 확률 지표(IPM), 특히 MMD 및 GD/GD+ 지표와 관련지어진다.
• Surrogate를 사용한 NSGA-II와 흐름/확산 생성 모델을 비교하는 Off-MOO-Bench에서 실증 평가를 수행한다.
• 보조정리 1(Lemma 1)을 사용하여 s(P_off)와 d_F(P_alg, P_off)를 생성적 방법의 근본 한계로 연결한다.
• GD, GD+, IGD+, MMD 및 목표 공간의 시프트 사이의 이론적 및 실증적 연결고리를 제공한다.

실험 결과

연구 질문

• RQ1 오프라인 MOO에서 생성적 방법은 하이퍼볼륨 외의 지표에서 어떻게 성능을 보이나?
• RQ2 오프라인-프론티어 시프트가 목표 공간 탐색 능력을 제한하는 역할은 무엇인가?
• RQ3 생성적 방법은 여전히 오프라인 목표 분포에 근접한가, 그리고 분포 외 샘플링이 성능을 개선할 수 있는가?
• RQ4 오프라인 MOO에서 분포 변화 하에 확산/흐름 기반 방법은 진화적 방법과 어떻게 비교되는가?

주요 결과

• 생성적 방법은 강한 하이퍼볼륨(HV)을 달성하지만 GD+, IGD+ 및 관련 지표에서 진화적 방법보다 낮은 성능을 보인다.
• 오프라인-프론티어 시프트 s(P_off)가 커질수록 생성적 방법의 성능 저하가 진화적 방법보다 커진다.
• 생성적 방법은 오프라인 목표 분포에 더 가깝게 남아(MMD로 더 높은 근접도) 진화적 방법보다 보수적 탐색을 시사한다.
• 분포 간 거리(MMD)와 GD 오차 사이에 상관관계가 있어, 목표 공간에서 분포 외 샘플링이 개선에 필요함을 시사한다.
• Off-MOO-Bench의 실증 결과는 생성적 방법이 일관된 HV 동등성을 보이나 GD+/IGD+ 및 MMD 행동은 더 나쁘고, 시프트가 간극을 심화시킴(Table 1 및 Fig. 1).
• 오프라인-프론티어 시프트는 GD를 매니폴드 설정으로 일반화하여 오프라인 데이터 기하학과 최적화 한계를 연결한다(Lemmas 1–2).
• 오프라인 MOO는 분포-시프트에 의해 한정되며, 한계를 극복하기 위해 목표 공간에서의 통제된 외삽을 제안한다.