[論文レビュー] Improving black-box optimization in VAE latent space using decoder uncertainty

Pascal Notin, José Miguel Hernández-Lobato+1 more|arXiv (Cornell University)|Jun 30, 2021

Advanced Neural Network Applications参考文献 26被引用数 24

ひとこと要約

VAE 潜在空間におけるデコーダ不確実性に基づくブラックボックス最適化を導入し、重要サンプリングMI推定量を用いて digits、算術表現、分子設計の有効性と目的を改善する。

ABSTRACT

Optimization in the latent space of variational autoencoders is a promising approach to generate high-dimensional discrete objects that maximize an expensive black-box property (e.g., drug-likeness in molecular generation, function approximation with arithmetic expressions). However, existing methods lack robustness as they may decide to explore areas of the latent space for which no data was available during training and where the decoder can be unreliable, leading to the generation of unrealistic or invalid objects. We propose to leverage the epistemic uncertainty of the decoder to guide the optimization process. This is not trivial though, as a naive estimation of uncertainty in the high-dimensional and structured settings we consider would result in high estimator variance. To solve this problem, we introduce an importance sampling-based estimator that provides more robust estimates of epistemic uncertainty. Our uncertainty-guided optimization approach does not require modifications of the model architecture nor the training process. It produces samples with a better trade-off between black-box objective and validity of the generated samples, sometimes improving both simultaneously. We illustrate these advantages across several experimental settings in digit generation, arithmetic expression approximation and molecule generation for drug design.

研究の動機と目的

• モデルアーキテクチャや訓練を変更せずに、 VAEs を介した高次元の離散空間での堅牢なブラックボックス最適化を動機づける。
• デコーダのエピステミック不確実性と、それがデコードサンプルの有効性に与える影響を定量化する。
• 高次元の構造化データにおける重要サンプリングを用いたデコーダ不確実性の堅牢な推定量を開発する。
• 複数のデータモダリティ（数字、算術表現、分子）にわたる不確実性誘導最適化を実証する。
• ベイズ最適化および勾配ベースの潜在空間最適化手法との適合性を示す。

提案手法

• IS-MI（重要サンプリングベースの相互情報量推定量）を用いてデコーダのエピステミック不確実性を定義・推定する。
• 最適化フレームワークにデコーダの不確実性を組み込む（不確実性を考慮した代理モデルを用いたベイズ最適化やセンサリング、または不確実性制約付き勾配上昇）。
• モデルパラメータの近似ポステリオリからサンプルを取り、それらのサンプル下でデコードして p(y|x,θ) を計算する実用的な推定量を提供する。
• 3つの設定（数字生成、算術式近似、分子生成）で、さまざまなアーキテクチャ（Conv-Deconv、CVAE、JT-VAE）を用いてアプローチを適用する。
• IS-MI を token-independence MI (TI-MI) およびベースラインと比較し、デコードの有効性と目的のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 高次元の構造化出力においてデコーダのエピステミック不確実性を信頼性高く推定できるか？
• RQ2 高不確実性の潜在点をセンサリングまたはペナルティ付けすることは、目的の性能を損なうことなくデコード済みオブジェクトの有効性を改善するか？
• RQ3 異なるアーキテクチャで、数字、算術表現、分子生成タスクに対してデコーダ不確実性誘導最適化がどのように機能するか？
• RQ4 高次元設定において IS-MI は TI-MI より堅牢か？
• RQ5 モデル訓練を変更せずに、不確実性誘導最適化をベイズ最適化および勾配ベースの潜在空間手法と統合できるか？

主な発見

• デコーダ不確実性はデコードの有効性と相関する：不確実性の低い領域はタスク全体でより有効なデコードを生む。
• IS-MI は TI-MI より低分散のMI推定と高リスクの潜在点の識別に優れる。
• 不確実性誘導最適化は、罰則付き目的値の向上および/または有効性の向上をベースラインと比較して、数字、算術表現、分子設計の各タスクで達成する。
• ベイズ最適化中に高不確実性点をセンサリングすることで有効性が向上し、有利な性質を持つ高品質な分子の発見を可能にする。
• NLLP（prior likelihood）制約の使用は IS-MI と比較して最適化性能を妨げる可能性がある。
• JT-VAE 実験は、不確実性誘導最適化が高く抑制された logP 値を達成しつつ品質フィルタを維持し、デコーダ不確実性を無視するベースラインより優れていることを示す。