[논문 리뷰] Model Inversion Networks for Model-Based Optimization

Aviral Kumar, Sergey Levine|arXiv (Cornell University)|2019. 12. 31.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 19

한 줄 요약

이 논문은 모델 기반 최적화를 위한 새로운 접근법인 모델 역전이 네트워크(Model Inversion Networks, MINs)를 소개한다. MINs는 점수 값에서 입력으로의 확률적 역함수를 학습함으로써, 이미지나 단백질과 같은 고차원, 저차원 다양체 입력 공간에서 효과적인 최적화를 가능하게 한다. MINs는 단순한 오프라인 데이터와 재가중 전략을 활용함으로써 활성 데이터 수집을 최소화하면서도 단백질 설계 및 컨텍스트 기반 밴딧 작업에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we aim to solve data-driven optimization problems, where the goal is to find an input that maximizes an unknown score function given access to a dataset of inputs with corresponding scores. When the inputs are high-dimensional and valid inputs constitute a small subset of this space (e.g., valid protein sequences or valid natural images), such model-based optimization problems become exceptionally difficult, since the optimizer must avoid out-of-distribution and invalid inputs. We propose to address such problem with model inversion networks (MINs), which learn an inverse mapping from scores to inputs. MINs can scale to high-dimensional input spaces and leverage offline logged data for both contextual and non-contextual optimization problems. MINs can also handle both purely offline data sources and active data collection. We evaluate MINs on tasks from the Bayesian optimization literature, high-dimensional model-based optimization problems over images and protein designs, and contextual bandit optimization from logged data.

연구 동기 및 목표

• 알 수 없는 고차원 점수 함수를 최적화하는 데 있어 유효한 입력이 저차원 다양체 위에 존재하는 문제, 예를 들어 단백질 또는 이미지 설계와 같은 상황을 해결하기 위해.
• 비용이 많이 들지 않는 활성 데이터 수집을 요구하지 않고도 정적 오프라인 데이터 세트를 효과적으로 활용할 수 있는 방법을 개발하기 위해.
• 이미지 콘텐츠와 같은 의미적 입력 공간을 포함한 고차원 공간에서 비컨텍스트 및 컨텍스트 기반 모델 기반 최적화를 가능하게 하기 위해.
• 표준 프록시 모델이 예측 점수가 높은 분포 외 입력을 생성하는 데 실패하는 문제를 해결하기 위해.
• 다양한 데이터 기반 최적화 작업에 일반화 가능한 확장성 있고 견고한 최적화 프레임워크를 설계하기 위해.

제안 방법

• MINs는 점수 $ y $ 와 랜덤 노이즈 변수 $ \mathbf{z} $ 를 입력으로 받아 고차원 입력 $ \mathbf{x} $ 를 생성하는 확률적 역함수 $ f^{-1}_{\theta}(y, \mathbf{z}) \rightarrow \mathbf{x} $ 를 학습한다.
• 특히 정적 데이터 세트를 사용하는 데이터 기반 설정에서 성능을 향상시키기 위해 학습 데이터 분포의 재가중 전략을 사용한다.
• MINs는 활성 함수 쿼리 없이도 훈련할 수 있도록 오프라인 입력-점수 쌍 데이터셋 $ \mathcal{D} = \{ (\mathbf{x}_i, y_i) \} $ 을 기반으로 훈련된다.
• 활성 최적화에서는 학습된 역모델에서 샘플링하고 재가중 또는 불확실성 추정을 통해 개선함으로써 쿼리 효율적인 데이터 수집을 지원한다.
• 이 방법은 이미지나 단백질 서열과 같은 고차원 입력에 대해 확장 가능한 딥 생성 모델링 기법을 활용한다.
• 컨텍스트 설정에서는 로그된 컨텍스트-입력-점수 데이터를 사용하여 $ \pi^* = \arg\max_{\pi} \mathbb{E}_{c \sim p(\cdot)}[f(c, \pi(c))] $ 를 최적화한다.

실험 결과

연구 질문

• RQ1 학습된 역모델이 고차원, 저차원 다양체 최적화 작업에서 표준 전방 모델 근사보다 뛰어난 성능을 낼 수 있는가?
• RQ2 활성 데이터 수집 없이도 정적 오프라인 데이터 세트만으로 모델 기반 최적화를 효과적으로 수행할 수 있는가?
• RQ3 MINs가 이미지나 단백질 서열과 같은 다양한 고차원 입력 공간으로 일반화되는 정도는 어느 정도인가?
• RQ4 데이터 기반 설정에서 데이터 분포의 재가중 전략이 최적화 성능에 어떻게 기여하는가?
• RQ5 MINs가 활성 함수 쿼리 의존도를 줄이며 베이지안 최적화와 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• MINs는 단백질 설계 작업에서 최대 형광 점수 3.42를 기록하여 CbAS(3.36)와 GB(3.25)를 능가했으며, 50번째 백분위수 점수 3.24는 고품질 샘플 생성 능력을 시사한다.
• 재가중 없이 학습된 MINs(MIN-R)는 약간 낮은 최대 성능에도 불구하고 50번째 백분위수 점수 3.28을 기록하여 더 일관된 샘플 생성 능력을 보이며 신뢰성 향상을 입증했다.
• 로그된 데이터로부터의 컨텍스트 기반 밴딧 최적화에서 MINs는 이전 방법들을 크게 능가하여 데이터 기반 설정에서 뛰어난 성능을 입증했다.
• 활성 최적화에서 MINs는 단백질 및 이미지 작업에서 CbAS와 베이지안 기반 모델의 성능을 따라하거나 초월했으며, 최신 기술 수준의 방법들과 경쟁 가능한 성능을 보였다.
• MINs는 이미지 내 사람의 나이와 같은 의미론적 점수 함수를 성공적으로 최적화하여 복잡한 고차원 입력 의미론에 대한 견고성을 입증했다.
• 유효한 역함수를 학습함으로써 분포 외 입력을 효과적으로 방지하여, 전방 모델 기반 최적화에서 흔히 발생하는 높은 점수의 환각 현상을 방지했다.