[論文レビュー] Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining

Austin Tripp, Erik Daxberger+1 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 78被引用数 37

ひとこと要約

本論文は、潜在空間最適化（LSO）における重み付き再訓練を提案し、高次元で構造化された入力に対するブラックボックス最適化のサンプル効率を改善します。

ABSTRACT

Many important problems in science and engineering, such as drug design, involve optimizing an expensive black-box objective function over a complex, high-dimensional, and structured input space. Although machine learning techniques have shown promise in solving such problems, existing approaches substantially lack sample efficiency. We introduce an improved method for efficient black-box optimization, which performs the optimization in the low-dimensional, continuous latent manifold learned by a deep generative model. In contrast to previous approaches, we actively steer the generative model to maintain a latent manifold that is highly useful for efficiently optimizing the objective. We achieve this by periodically retraining the generative model on the data points queried along the optimization trajectory, as well as weighting those data points according to their objective function value. This weighted retraining can be easily implemented on top of existing methods, and is empirically shown to significantly improve their efficiency and performance on synthetic and real-world optimization problems.

研究の動機と目的

• 高次元で構造化された入力空間と、評価コストが高い目的関数に対して潜在空間最適化（LSO）を動機づける。
• 学習済み潜在解可能領域と情報伝播に関連する、標準的なLSOの2つの失敗モードを特定する。
• 最適化のために潜在空間を適応させるため、重み付きデータ訓練と定期的な再訓練を提案する。
• 重み付けと再訓練の組み合わせが、合成タスクと実世界タスクの両方で効率を改善することを示す。

提案手法

• 潜在空間を高性能点へ偏らせるように、重み付き訓練目的を用いて深層生成モデル g: Z -> X を訓練する。
• データ点に正の重み w_i を割り当て、訓練中に高スコアのサンプルを強調する（w(x; D, k) による順位ベースの重み付け）。
• 新しい情報に適応するよう、重み付きデータセット上で生成モデルを定期的に再訓練または微調整する。
• X を潜在点 Z に写像する逆モデル q を用いて、潜在目的関数 h: Z -> R をフィットし最適化を導く。
• 重み付き再訓練と潜在空間最適化を組み合わせて、新しい潜在点を選択し f(g(z)) を問い合わせる。
• 反復的な重み付き再訓練と潜在空間最適化を概説する簡単なアルゴリズム（アルゴリズム1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 LSO におけるトレーニングデータの重み付けは、深層生成モデルの潜在空間分布にどのような影響を与えるか？
• RQ2 生成モデルの定期的な再訓練は、新しい高スコアデータを取り込み、最適化の実現可能領域を拡張するのに役立つか？
• RQ3 重み付けと再訓練の組み合わせは、標準のLSOおよびベースラインと比較して、多様なタスクでサンプル効率を改善するか？
• RQ4 化学設計のような実世界の問題において、重み付き再訓練はクロスエントロピーベースの手法やドメイン特化型BOアプローチとどのように比較されるか？

主な発見

• 重み付き訓練は、タスク全体で潜在空間分布を高い目的値へとシフトさせる。
• 重み付けと定期的再訓練を組み合わせると、いずれ単独よりも良い性能を示し、相乗効果を示す。
• k_low および r_low を用いた重み付き再訓練は、最適化性能を向上させ、初期訓練データを超えた外挿を可能にする。
• DbAS、CEM-PI、FBVAE、RWRと比較して、LSOによる重み付き再訓練は化学設計タスクでより高いサンプル効率と良い最終スコアを達成する。
• ZINC250k 薬物設計ベンチマークでは、本手法は500サンプルを用いて最良スコア 27.84 を達成し、いくつかのベースライン手法を上回った。
• この手法は、広く用いられている化学設計ベンチマークにおいて、最先端手法に対して顕著な改善をもたらす。