[论文解读] Model Inversion Networks for Model-Based Optimization

Aviral Kumar, Sergey Levine|arXiv (Cornell University)|Dec 31, 2019

Advanced Bandit Algorithms Research参考文献 36被引用 19

一句话总结

本文提出模型反演网络（MINs），一种新型基于模型的优化方法，通过从评分值到输入的随机反向映射进行学习，实现对高维、低维流形输入空间（如图像和蛋白质）的有效优化。MINs在蛋白质设计和上下文Bandit任务中优于先前方法，通过利用离线数据和重加权策略，仅需极少的主动数据收集即可达到最先进性能。

ABSTRACT

In this work, we aim to solve data-driven optimization problems, where the goal is to find an input that maximizes an unknown score function given access to a dataset of inputs with corresponding scores. When the inputs are high-dimensional and valid inputs constitute a small subset of this space (e.g., valid protein sequences or valid natural images), such model-based optimization problems become exceptionally difficult, since the optimizer must avoid out-of-distribution and invalid inputs. We propose to address such problem with model inversion networks (MINs), which learn an inverse mapping from scores to inputs. MINs can scale to high-dimensional input spaces and leverage offline logged data for both contextual and non-contextual optimization problems. MINs can also handle both purely offline data sources and active data collection. We evaluate MINs on tasks from the Bayesian optimization literature, high-dimensional model-based optimization problems over images and protein designs, and contextual bandit optimization from logged data.

研究动机与目标

• 解决在未知、高维评分函数中有效优化的问题，其中有效输入位于低维流形上，例如蛋白质或图像设计。
• 开发一种方法，有效利用静态离线数据集，而无需昂贵的主动数据收集。
• 在高维空间中实现非上下文和上下文的基于模型优化，包括图像内容等语义输入空间。
• 克服标准代理模型在生成高预测评分的分布外输入时的失败问题。
• 设计一种可扩展、鲁棒的优化框架，适用于多样化数据驱动的优化任务。

提出的方法

• MINs学习一个随机反向映射 $ f^{-1}_{\theta}(y, \mathbf{z}) \rightarrow \mathbf{x} $，其中 $ y $ 为评分，$ \mathbf{z} $ 为随机噪声变量，以生成对应于高分的输入。
• 通过重加权训练数据分布来提升优化性能，尤其在静态数据集的数据驱动设置中。
• MINs在离线输入-评分对数据集 $ \mathcal{D} = \{ (\mathbf{x}_i, y_i) \} $ 上进行训练，避免在训练期间依赖主动函数查询。
• 在主动优化中，MINs通过从学习到的反向模型采样，并结合重加权或不确定性估计进行优化，实现查询高效的采样。
• 该方法利用深度生成建模技术，可扩展至高维输入（如图像和蛋白质序列）。
• 在上下文设置中，MINs利用记录的上下文-输入-评分数据优化 $ \pi^* = \arg\max_{\pi} \mathbb{E}_{c \sim p(\cdot)}[f(c, \pi(c))] $。

实验结果

研究问题

• RQ1 学习到的反向模型是否能在高维、低维流形优化任务中超越标准前向模型近似？
• RQ2 如何仅使用静态离线数据集，在无需主动数据收集的情况下有效执行基于模型的优化？
• RQ3 MINs在多样化高维输入空间（如图像和蛋白质序列）中的泛化能力如何？
• RQ4 在数据驱动设置中，重加权数据分布在多大程度上能提升优化性能？
• RQ5 MINs能否在减少对主动函数查询依赖的同时，实现与贝叶斯优化相当的性能？

主要发现

• 在蛋白质设计任务中，MINs实现了3.42的最大荧光评分，优于CbAS（3.36）和GB（3.25），第50百分位数得分为3.24，表明样本生成质量高。
• 未使用重加权的MINs（MIN-R）生成的样本更一致，第50百分位数得分为3.28，尽管最大性能略有下降，但可靠性更高。
• 在从记录数据进行的上下文Bandit优化中，MINs显著优于先前方法，展现出在数据驱动设置中的强大性能。
• 在主动优化中，MINs在蛋白质和图像任务中达到或超过CbAS和贝叶斯基线的性能，表现出与最先进方法相当的竞争力。
• MINs成功优化了语义评分函数（如图像中人物的年龄），证明了其对复杂、高层级输入语义的鲁棒性。
• 该方法通过学习有效的反向映射，有效避免了分布外输入，防止了基于前向模型优化中常见的高分幻觉现象。