[논문 리뷰] Conservative Objective Models for Effective Offline Model-Based Optimization

Brandon Trabucco, Aviral Kumar외 2명|arXiv (Cornell University)|2021. 07. 14.

Simulation Techniques and Applications인용 수 10

한 줄 요약

이 논문은 오프라인 모델기반 최적화에서 학습된 목적함수 모델의 과대추정 오차를 외부 분포 입력에 대해 보수적인 예측을 강제하여 완화하는 단순하면서도 효과적인 방법인 보수적 목적함수 모델(Conservative Objective Models, COMs)을 제안한다. 지도 학습 회귀와 적대적 정규화를 조합함으로써, 단순한 초모수 조정으로도 단백질 설계, 로봇 형태, 신경망 아키텍처, 초전도 물질 등 다양한 오프라인 MBO 작업에서 뛰어난 안정성과 성능을 달성한다.

ABSTRACT

Computational design problems arise in a number of settings, from synthetic biology to computer architectures. In this paper, we aim to solve data-driven model-based optimization (MBO) problems, where the goal is to find a design input that maximizes an unknown objective function provided access to only a static dataset of prior experiments. Such data-driven optimization procedures are the only practical methods in many real-world domains where active data collection is expensive (e.g., when optimizing over proteins) or dangerous (e.g., when optimizing over aircraft designs). Typical methods for MBO that optimize the design against a learned model suffer from distributional shift: it is easy to find a design that "fools" the model into predicting a high value. To overcome this, we propose conservative objective models (COMs), a method that learns a model of the objective function that lower bounds the actual value of the ground-truth objective on out-of-distribution inputs, and uses it for optimization. Structurally, COMs resemble adversarial training methods used to overcome adversarial examples. COMs are simple to implement and outperform a number of existing methods on a wide range of MBO problems, including optimizing protein sequences, robot morphologies, neural network weights, and superconducting materials.

연구 동기 및 목표

• 외부 분포이거나 유효하지 않은 설계에 대해 학습된 모델이 높은 목적함수 값을 잘못 예측하는 오프라인 모델기반 최적화(MBO)에서의 과대추정 문제를 해결하기 위해.
• 데이터 다각형 근처의 외부 분포 입력에 대해 진정한 목적함수를 하한으로 보장하는 보수적인 목적함수 모델을 학습하기 위해.
• 특히 단백질 공학이나 항공기 설계와 같이 비용이 높거나 위험이 큰 분야에서 활성 데이터 수집 없이도 효과적인 최적화를 가능하게 하기 위해.
• 활성 데이터 수집이나 복잡한 생성 모델링에 대한 의존도를 줄임으로써 오프라인 MBO의 안정성과 신뢰성을 향상시키기 위해.
• 다양한 고차원 작업에서 강력한 성능을 유지하면서도 간단하고 즉시 사용 가능한 기존 MBO 방법의 대안을 제공하기 위해.

제안 방법

• COMs는 정적 입력-목적함수 쌍 데이터셋을 기반으로 지도 학습 회귀를 통해 목적함수 값을 예측하는 신경망을 훈련한다.
• 이 방법은 두 가지 추가 손실 항목을 도입한다: 하나는 훈련 데이터에서의 모델 예측을 최대화하는 항목이고, 다른 하나는 적대적으로 생성된 외부 분포 입력에서의 예측을 최소화하는 항목이다.
• 적대적 구성요소는 모델의 출력에 대해 기울기 상승 절차를 사용하여 생성되며, 목적함수를 과대평가할 수 있는 입력을 시뮬레이션한다.
• 최종 모델은 보수적인 목적함수에 대해 표준 기울기 상승 절차를 사용하여 최적화되어 분포 이탈에 대한 강건성을 확보한다.
• 이 접근은 지도 학습에서의 적대적 훈련과 유사하지만, 오프라인 MBO에서 목적함수 모델링에 적용된 것이다.
• 적대적 정규화의 강도를 제어하기 위해 단일 초모수 τ를 사용하며, 연속형 입력 공간에서는 τ=0.5, 이산형 입력 공간에서는 τ=2.0를 사용한다.

실험 결과

연구 질문

• RQ1 활성 데이터 수집이나 복잡한 생성 모델링 없이도, 목적함수의 단순하고 보수적인 모델이 오프라인 MBO에서 과대추정 오차를 줄일 수 있는가?
• RQ2 외부 분포 입력에 대한 적대적 정규화는 표준 지도 학습 회귀에 비해 오프라인 최적화의 신뢰성과 성능을 얼마나 향상시키는가?
• RQ3 COMs는 단백질 서열 설계나 로봇 형태 최적화와 같은 다양한 고차원 MBO 작업에서 얼마나 높은 성능을 유지할 수 있는가?
• RQ4 평가 예산의 변화에 대해 COMs는 얼마나 강건한가? 더 적은 후보 평가 수에서도 성능을 유지하는가?
• RQ5 제한된 데이터로도 기존 최첨단 방법보다 COMs가 오프라인 MBO에서 더 뛰어난 최적화 성능을 달성할 수 있는가?

주요 결과

• COMs는 단백질 서열 설계, 로봇 형태, 신경망 아키텍처, 초전도 물질 등 평가된 모든 작업에서 표준 지도 학습 회귀에 비해 일관되게 뛰어난 성능을 보였다.
• HopperController 작업에서 COMs는 다음으로 성능이 좋은 방법보다 1.3배 높은 성능을 달성하여 고차원 연속 공간에서 강력한 결과를 보였다.
• COMs는 평가 예산 감소에 강건하다: HopperController에서 COMs는 단지 55회의 평가로 최적에 가까운 성능를 달성했고, 난이도 높은 모델은 이의 두 배가 넘는 평가가 필요로 했다.
• 단일 통합 초모수 τ(연속형일 경우 τ=0.5, 이산형일 경우 τ=2.0)로도 다양한 작업에서 강력한 성능 유지를 유지함으로써 강건성과 구현 용이성을 입증했다.
• 절단 실험 결과, 평가 예산이 줄어든 상황에서도 COMs가 기준선 방법보다 항상 뛰어난 성능를 보이며 안정성과 신뢰성의 확인을 받았다.
• 이론적·실증적으로 COMs는 데이터 다각형 근처의 외부 분포 입력에서 과대추정을 효과적으로 완화함으로써 더 신뢰할 수 있고 효과적인 최적화를 가능하게 했다.