[論文レビュー] Diffusion Models for Black-Box Optimization

Siddarth Krishnamoorthy, Satvik Mehul Mashkaria+1 more|arXiv (Cornell University)|Jun 12, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、関数値から入力点へのマッピングを学習するための条件付き拡散モデルを用いた、オフラインブラックボックス最適化のための新しい逆問題アプローチであるDenoising Diffusion Optimization Models (DDOM)を提案する。訓練時に低値のデータポイントを軽視する再重み付けと、推論時に分類器フリーのガイダンスを適用することで、Design-Benchベンチマークにおいて、平均的に最先端の性能を達成し、前方モデルおよび逆方向モデルの両方を上回った。

ABSTRACT

The goal of offline black-box optimization (BBO) is to optimize an expensive black-box function using a fixed dataset of function evaluations. Prior works consider forward approaches that learn surrogates to the black-box function and inverse approaches that directly map function values to corresponding points in the input domain of the black-box function. These approaches are limited by the quality of the offline dataset and the difficulty in learning one-to-many mappings in high dimensions, respectively. We propose Denoising Diffusion Optimization Models (DDOM), a new inverse approach for offline black-box optimization based on diffusion models. Given an offline dataset, DDOM learns a conditional generative model over the domain of the black-box function conditioned on the function values. We investigate several design choices in DDOM, such as re-weighting the dataset to focus on high function values and the use of classifier-free guidance at test-time to enable generalization to function values that can even exceed the dataset maxima. Empirically, we conduct experiments on the Design-Bench benchmark and show that DDOM achieves results competitive with state-of-the-art baselines.

研究の動機と目的

• 既存のオフラインブラックボックス最適化（BBO）手法の限界、特にGANベースの逆モデルにおける不安定さとモード崩壊、および補間ベースの前方モデルにおける一般化性能の低さを解決すること。
• 高次元空間における関数値から入力点へのマッピングを直接学習する、安定的かつスケーラブルな逆問題アプローチを開発すること。
• テスト時条件付け技術を用いて、データセットに観測された最大関数値を超える関数値に対しても一般化を可能にすること。
• 条件付き拡散モデルに内在する「多様性と品質のトレードオフ」を解消することで、逆モデルにおけるサンプルの品質と多様性を向上させること。

提案手法

• DDOMは、関数値が与えられたもとで入力領域上の生成的分布を学習するための条件付き拡散モデルを訓練し、出力から入力への逆マッピングをモデル化する。
• 訓練時に低値のデータポイントを軽視する再重み付けされた目的関数を用い、入力空間の高性能領域に注目するようにモデルを最適化する。
• テスト時に分類器フリーのガイダンスを適用することで、ターゲット関数値への条件付けの強度を動的に制御し、高品質な候補を生成できる。
• スコア関数を無条件および条件付き成分に分解することで、生成品質と条件付けへの適合性の分離制御を可能にする。
• 本手法は、次元数、データサイズ、ドメインが異なる実世界のオフラインBBOタスクをカバーするDesign-Benchスイートで評価される。
• サンプリングは、分類器フリーのガイダンスを介して、データセットの最大値を超える関数値に対しても条件づけて実行される。

Figure 2 : Branin function

実験結果

リサーチクエスチョン

• RQ1 条件付き拡散モデルは、高次元のオフラインBBO設定において、関数値から入力への逆マッピングを効果的に学習できるか？
• RQ2 データセットの再重み付けは、低価値領域を軽視することで性能を向上させつつ、モデルの安定性を損なわずに、高価値領域に注目させることで最適化性能を向上させられるか？
• RQ3 分類器フリーのガイダンスは、観測範囲外の関数値に対しても、オフラインBBOにおける一般化をどの程度向上させられるか？
• RQ4 DDOMは、補間ベースの前方モデルおよびGANベースの逆モデルと比較して、サンプル品質および最適化性能の両面で優れているか？

主な発見

• DDOMはDesign-Benchベンチマークで最先端の性能を達成し、全タスク平均で2.8の平均順位を記録し、全般に第1位となった。
• モデルは高い訓練安定性と頑健性を示し、モード崩壊や訓練不安定性を示すGANベースの逆モデル（MINsなど）を上回った。
• 分類器フリーのガイダンスにより、データセットの最大値を超える関数値に対しても効果的な一般化が可能であり、従来の逆モデルと比較して顕著な利点を示した。
• データセットの再重み付けにより、訓練時に高価値ポイントを優先することで、最適な入力点を発見する能力が著しく向上した。

(a) $\mathcal{D}_{\text{GMM}}$