[論文レビュー] Model Inversion Networks for Model-Based Optimization

Aviral Kumar, Sergey Levine|arXiv (Cornell University)|Dec 31, 2019

Advanced Bandit Algorithms Research参考文献 36被引用数 19

ひとこと要約

この論文は、スコア値から入力を学習する確率的逆写像を学習する、モデルベース最適化のための新規手法であるModel Inversion Networks (MINs)を紹介する。MINsは、画像やタンパク質のような高次元で低次元多様体に分布する入力空間において、効果的な最適化を可能にする。MINsは、タンパク質設計および文脈的バンディットタスクにおいて、従来手法を上回り、オフラインデータと再重み付け戦略を活用することで、最小限のアクティブデータ収集で最先端の結果を達成する。

ABSTRACT

In this work, we aim to solve data-driven optimization problems, where the goal is to find an input that maximizes an unknown score function given access to a dataset of inputs with corresponding scores. When the inputs are high-dimensional and valid inputs constitute a small subset of this space (e.g., valid protein sequences or valid natural images), such model-based optimization problems become exceptionally difficult, since the optimizer must avoid out-of-distribution and invalid inputs. We propose to address such problem with model inversion networks (MINs), which learn an inverse mapping from scores to inputs. MINs can scale to high-dimensional input spaces and leverage offline logged data for both contextual and non-contextual optimization problems. MINs can also handle both purely offline data sources and active data collection. We evaluate MINs on tasks from the Bayesian optimization literature, high-dimensional model-based optimization problems over images and protein designs, and contextual bandit optimization from logged data.

研究の動機と目的

• 未知の高次元スコア関数を最適化する課題に取り組むこと、特に有効な入力が低次元多様体上に分布する場合（例：タンパク質設計や画像設計）に焦点を当てる。
• 高価なアクティブデータ収集を必要とせず、静的でオフラインのデータセットを効果的に活用する手法を開発すること。
• 画像のコンテンツのような意味的入力空間を含む、高次元空間における非文脈的および文脈的モデルベース最適化を可能にすること。
• 標準的なプロキシモデルが、予測スコアが高くても分布外の入力を生成してしまう問題を克服すること。
• 多様なデータ駆動最適化タスクに一般化可能なスケーラブルでロバストな最適化フレームワークを設計すること。

提案手法

• MINsは、スコア値 $ y $ とランダムノイズ変数 $ \mathbf{z} $ を入力として、高スコアに対応する入力 $ \mathbf{x} $ を生成する確率的逆写像 $ f^{-1}_{\theta}(y, \mathbf{z}) \rightarrow \mathbf{x} $ を学習する。
• 特に静的データセットを用いたデータ駆動設定において性能を向上させるために、学習データ分布の再重み付けを用いる。
• MINsは、訓練中にアクティブ関数クエリに依存しない、入力-スコアペア $ \mathcal{D} = \{ (\mathbf{x}_i, y_i) \} $ のオフラインデータセット上で訓練される。
• アクティブ最適化においては、学習済みの逆モデルからサンプリングし、再重み付けまたは不確実性推定を用いて改善することで、クエリ効率の良いデータ収集を実現する。
• 画像やタンパク質配列のような高次元入力にスケーラブルな深層生成モデリング技術を活用する。
• 文脈的設定では、ログされた文脈-入力-スコアデータを用いて、$ \pi^* = \arg\max_{\pi} \mathbb{E}_{c \sim p(\cdot)}[f(c, \pi(c))] $ を最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習済みの逆写像は、高次元で低次元多様体に分布する最適化タスクにおいて、標準的な前向きモデル近似を上回ることができるか？
• RQ2 アクティブデータ収集を一切行わず、静的でオフラインのデータセットのみを用いて、モデルベース最適化を効果的に行うことは可能か？
• RQ3 MINsは、画像やタンパク質配列のような多様で高次元の入力空間にどの程度一般化可能か？
• RQ4 データ駆動設定において、データ分布の再重み付けは最適化性能をどのように向上させるか？
• RQ5 アクティブ関数クエリへの依存を減らしながら、ベイズ最適化と同等の性能を達成できるか？

主な発見

• タンパク質設計タスクにおいて、MINsは最大発光強度スコア3.42を達成し、CbAS (3.36) や GB (3.25) を上回った。50パーセンタイルスコアが3.24であったことから、高品質なサンプル生成が可能であることが示された。
• 再重み付けなしのMIN-Rは、最大性能はわずかに低かったものの、50パーセンタイルスコアが3.28と、より一貫性のあるサンプルを生成し、信頼性が向上していることが示された。
• ログされたデータからの文脈的バンディット最適化において、MINsは従来手法を著しく上回り、データ駆動設定における優れた性能を示した。
• アクティブ最適化において、MINsはタンパク質および画像タスクでCbASおよびベイズベースラインと同等またはそれ以上の性能を示し、最先端手法と競合可能な性能を達成した。
• MINsは、画像内の人物の年齢といった意味的スコア関数の最適化にも成功し、複雑で高次の入力意味論に対してもロバストであることが示された。
• MINsは有効な逆写像を学習することで、分布外の入力を効果的に回避し、前向きモデルベース最適化で一般的な高スコアの「幻覚」を防いでいる。