[논문 리뷰] Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization

Brandon Trabucco, Xinyang Geng외 2명|arXiv (Cornell University)|2022. 02. 17.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 논문은 생물학, 재료 과학, 로봇공학 분야의 다양한 실제 작업을 포함하는 데이터 기반 오프라인 모델 기반 최적화(offlines MBO)를 위한 표준화된 벤치마크인 Design-Bench를 소개한다. 이는 최적화가 정적 데이터셋에서만 이루어지며 활성 쿼리 없이 수행되어야 하는 오프라인 MBO 분야에서 공정한 비교와 진전 추적을 가능하게 하는 통합 평가 프로토콜과 최신 기법의 기준 구현을 제공한다.

ABSTRACT

Black-box model-based optimization (MBO) problems, where the goal is to find a design input that maximizes an unknown objective function, are ubiquitous in a wide range of domains, such as the design of proteins, DNA sequences, aircraft, and robots. Solving model-based optimization problems typically requires actively querying the unknown objective function on design proposals, which means physically building the candidate molecule, aircraft, or robot, testing it, and storing the result. This process can be expensive and time consuming, and one might instead prefer to optimize for the best design using only the data one already has. This setting -- called offline MBO -- poses substantial and different algorithmic challenges than more commonly studied online techniques. A number of recent works have demonstrated success with offline MBO for high-dimensional optimization problems using high-capacity deep neural networks. However, the lack of standardized benchmarks in this emerging field is making progress difficult to track. To address this, we present Design-Bench, a benchmark for offline MBO with a unified evaluation protocol and reference implementations of recent methods. Our benchmark includes a suite of diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics that present distinct challenges for offline MBO. Our benchmark and reference implementations are released at github.com/rail-berkeley/design-bench and github.com/rail-berkeley/design-baselines.

연구 동기 및 목표

• 오프라인 모델 기반 최적화(offlines MBO) 분야에서 표준화된 벤치마크의 부재로 인해 진전 추적과 방법 비교가 어렵다는 문제를 해결하기 위해.
• 생물학, 재료 과학, 로봇공학과 같은 실제 도메인의 다양한 실제 작업에 대해 오프라인 MBO 방법의 통합 평가 프로토콜을 제공하기 위해.
• 최근의 오프라인 MBO 방법에 대한 벤치마크 세트와 기준 구현을 공개하여 체계적인 평가와 재현 가능성을 가능하게 하기 위해.
• 분포 이탈, 고차원성, 비연속적인 目표 함수와 같은 오프라인 MBO의 핵심 과제를 대표적이면서도 현실적으로 도전적인 작업을 통해 규명하기 위해.
• 다양한 도메인 간 알고리즘 성능 및 일반화 능력을 측정할 수 있는 공통 기준과 프레임워크를 제공하여 오프라인 MBO 분야의 연구를 활성화하기 위해.

제안 방법

• 벤치마크는 단백질 설계, DNA 서열 최적화, 재료 발견, 로봇 제어 분야의 실제 최적화 문제에서 유도된 12개의 다양한 작업을 포함한다.
• 각 작업은 고차원 설계 공간, 비연속적이거나 비스무스한 目표 함수, 복잡한 구조-기능 관계와 같은 실제 도전 과제를 반영하도록 설계되어 있다.
• 모든 방법이 동일한 정적 데이터셋에서 평가되고, 다수의 랜덤 시드를 통해 확보한 최고의 目표 값만을 보고하는 통합 평가 프로토콜이 확립되었다.
• 기울기 상승과 학습된 目표 모델를 사용하는 방법, REINFORCE 기반 정책 그래디언트, 가우시안 프로세스를 사용한 베이지안 최적화, CMA-ES, 그리고 보수적인 目표 모델(COMs)을 포함한 여러 오프라인 MBO 방법의 기준 구현이 제공된다.
• 각 방법의 하이퍼파rameter는 체계적으로 튜닝되었으며, 작업 간에 균일하게 적용되었으며, 재현 가능성을 위해 상세한 설정 가이드라인이 제공된다.
• 학습된 目표 함수를 훈련하기 위해 최대우도 기반 목적함수를 사용하고, 최적화 성능은 찾은 예측된 최고의 目표 값에 기반하여 평가된다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 유래한 고차원, 실제적인 최적화 작업들에서 다양한 오프라인 MBO 방법의 성능는 어떻게 평가되는가?
• RQ2 기존의 오프라인 MBO 방법들이 분포 이탈, 비연속성, 차원 수의 다양성이 있는 작업들 간에 얼마나 잘 일반화되는가?
• RQ3 실제 적용에서 오프라인 MBO 알고리즘 성능에 가장 큰 영향을 미치는 핵심 하이퍼파rameter와 설계 선택은 무엇인가?
• RQ4 통합된 벤치마크 프로토콜이 오프라인 MBO 방법 간의 공정하고 재현 가능한 비교를 어떻게 가능하게 하는가?
• RQ5 고차원, 비연속적, 또는 희박한 데이터 환경에서 현재의 오프라인 MBO 방법들은 어떤 한계를 지니는가?

주요 결과

• 벤치마크는 보수적인 목적 모델(COMs)이 대부분의 작업에서 다른 방법들보다 뚜렷이 뛰어난 성능을 보이며, 특히 분포 이탈이 심하고 데이터가 희박한 환경에서 뛰어난 성능을 발휘함을 드러냈다.
• 학습된 목적 모델을 사용한 기울기 상승 방법은 연속적인 작업과 매끄러운 목적 함수에서 양호한 성능를 보였지만, 비연속적이거나 고차원적인 함수에서는 어려움을 겪었다.
• 가우시안 프로세스를 사용한 베이지안 최적화 방법은 저-중간 차원 작업에서는 뛰어난 성능를 보였지만, 고차원 설계 공간으로 확장될 때는 성능이 급격히 떨어졌다.
• REINFORCE 기반 방법은 이산적 작업에서는 효과적이지만, 수렴이 불량해지지 않도록 정책 분포와 학습률 조정이 정교하게 필요하다.
• CMA-ES는 다양한 작업에서 뛰어난 강건성을 보였으며, 잘 훈련된 목적 모델과 조합될 경우 尤도 높은 성능를 발휘하지만, 초기화 및 하이퍼파rameter 설정에 민감하다.
• 통합 평가 프로토콜은 공정한 비교를 성공적으로 가능하게 하였으며, 방법의 성능가 작업 간에 상당한 차이가 있음을 드러내어 도메인 인식 기반 알고리즘 설계의 필요성을 강조하였다.