[논문 리뷰] Diffusion Models for Black-Box Optimization

Siddarth Krishnamoorthy, Satvik Mehul Mashkaria외 1명|arXiv (Cornell University)|2023. 06. 12.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 기능 값에서 입력 점으로의 매핑을 위해 조건부 확산 모델을 사용하는 오프라인 블랙박스 최적화를 위한 새로운 역방향 접근법인 Denoising Diffusion Optimization Models (DDOM)를 제안한다. 데이터셋을 재가중하여 고가치 점수를 우선시하고 테스트 시점에 분류기 자유 가이던스를 적용함으로써, DDOM은 Design-Bench 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 평균적으로 정방향 및 역방향 기준선을 모두 초월한다.

ABSTRACT

The goal of offline black-box optimization (BBO) is to optimize an expensive black-box function using a fixed dataset of function evaluations. Prior works consider forward approaches that learn surrogates to the black-box function and inverse approaches that directly map function values to corresponding points in the input domain of the black-box function. These approaches are limited by the quality of the offline dataset and the difficulty in learning one-to-many mappings in high dimensions, respectively. We propose Denoising Diffusion Optimization Models (DDOM), a new inverse approach for offline black-box optimization based on diffusion models. Given an offline dataset, DDOM learns a conditional generative model over the domain of the black-box function conditioned on the function values. We investigate several design choices in DDOM, such as re-weighting the dataset to focus on high function values and the use of classifier-free guidance at test-time to enable generalization to function values that can even exceed the dataset maxima. Empirically, we conduct experiments on the Design-Bench benchmark and show that DDOM achieves results competitive with state-of-the-art baselines.

연구 동기 및 목표

• 기존 오프라인 블랙박스 최적화(BBO) 방법의 한계, 특히 GAN 기반 역방향 모델에서의 불안정성과 모드 붕괴, 그리고 서rogate 기반 정방향 모델의 열악한 일반화 능력 해결을 위한 것이다.
• 고차원 공간에서 기능 값에서 입력 점으로의 매핑을 직접 학습하는 안정적이고 확장 가능한 역방향 접근법을 개발하기 위한 것이다.
• 테스트 시점 조건화 기법을 통해 데이터셋에서 관측된 최대 기능 값 이상의 값으로도 일반화를 가능하게 하기 위한 것이다.
• 조건부 확산 모델에 내재된 다양성-품질 트레이드오프를 해결하여 역방향 모델링에서 샘플 품질과 다양성을 향상시키기 위한 것이다.

제안 방법

• DDOM은 주어진 기능 값에 따라 입력 영역에 대한 생성 분포를 학습하기 위해 조건부 확산 모델을 훈련하며, 출력에서 입력으로의 역방향 매핑을 모델링한다.
• 훈련 중에는 낮은 가치의 데이터 포인트를 가중치를 낮추는 재가중 목적 함수를 사용하여 입력 공간의 고성능 영역에 모델의 집중을 유도한다.
• 테스트 시점에 분류기 자유 가이던스를 적용하여 목표 기능 값에 대한 조건화 강도를 동적으로 제어함으로써 고품질 후보를 생성할 수 있다.
• 모델은 스코어 함수를 무조건적 및 조건부 성분으로 분해하여 생성 품질과 조건화 준수를 별개로 제어할 수 있도록 한다.
• 이 방법은 다양한 차원, 데이터 크기, 영역을 가진 실제 오프라인 BBO 작업을 포함하는 Design-Bench 세트에서 평가된다.
• 샘플링은 분류기 자유 가이던스를 통해 데이터셋의 최대값을 초월하는 기능 값에도 조건을 걸어 수행된다.

Figure 2 : Branin function

실험 결과

연구 질문

• RQ1 조건부 확산 모델은 고차원 오프라인 BBO 환경에서 기능 값에서 입력으로의 역방향 매핑을 효과적으로 학습할 수 있는가?
• RQ2 데이터셋 재가중은 낮은 가치 영역을 제외하고도 모델의 안정성을 유지하면서 고가치 영역에 집중함으로써 최적화 성능를 어떻게 향상시킬 수 있는가?
• RQ3 분류기 자유 가이던스는 관측 범위를 초월하는 기능 값에 대해 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 샘플 품질과 최적화 성능 측면에서 DDOM은 정방향 서rogate 기반 및 역방향 GAN 기반 방법과 어떻게 비교되는가?

주요 결과

• DDOM은 Design-Bench 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 모든 작업 평균 순위가 2.8로 1위를 기록했다.
• 모델은 높은 훈련 안정성과 강건성을 보였으며, 모드 붕괴와 훈련 불안정성으로 악영향을 받는 MINs와 같은 GAN 기반 역방향 모델을 능가했다.
• 분류기 자유 가이던스 덕분에 데이터셋 최대값을 초월하는 기능 값으로도 효과적인 일반화가 가능했으며, 이는 이전의 역방향 방법에 비해 핵심적 이점이다.
• 데이터셋 재가중은 훈련 중 고가치 점수를 우선시함으로써 최적의 입력을 발견하는 데 모델의 능력을 크게 향상시켜 최적화 성능을 크게 향상시켰다.

(a) $\mathcal{D}_{\text{GMM}}$