[論文レビュー] Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization

Brandon Trabucco, Xinyang Geng+2 more|arXiv (Cornell University)|Feb 17, 2022

Machine Learning in Materials Science被引用数 8

ひとこと要約

この論文は、生物学、材料科学、ロボット工学の分野における多様で現実的なタスクをカバーする、データ駆動型オフラインモデルベース最適化（オフラインMBO）のための標準化ベンチマーク、Design-Benchを紹介する。本研究では、一貫した評価プロトコルと最先端の手法のリファレンス実装を提供し、オフラインMBOにおける公平な比較と進捗の追跡を可能にする。オフラインMBOでは、アクティブなクエリを一切行わず、静的データセットに依存して最適化を行う必要がある。

ABSTRACT

Black-box model-based optimization (MBO) problems, where the goal is to find a design input that maximizes an unknown objective function, are ubiquitous in a wide range of domains, such as the design of proteins, DNA sequences, aircraft, and robots. Solving model-based optimization problems typically requires actively querying the unknown objective function on design proposals, which means physically building the candidate molecule, aircraft, or robot, testing it, and storing the result. This process can be expensive and time consuming, and one might instead prefer to optimize for the best design using only the data one already has. This setting -- called offline MBO -- poses substantial and different algorithmic challenges than more commonly studied online techniques. A number of recent works have demonstrated success with offline MBO for high-dimensional optimization problems using high-capacity deep neural networks. However, the lack of standardized benchmarks in this emerging field is making progress difficult to track. To address this, we present Design-Bench, a benchmark for offline MBO with a unified evaluation protocol and reference implementations of recent methods. Our benchmark includes a suite of diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics that present distinct challenges for offline MBO. Our benchmark and reference implementations are released at github.com/rail-berkeley/design-bench and github.com/rail-berkeley/design-baselines.

研究の動機と目的

• オフラインモデルベース最適化（オフラインMBO）における標準化されたベンチマークの欠如が、進捗の追跡と手法の比較を妨えているという問題に取り組む。
• 生物学、材料科学、ロボット工学などの現実世界の分野から得られる多様で現実的なタスクにおいて、オフラインMBO手法の評価を統一するプロトコルを提供する。
• 最近のオフラインMBO手法のベンチマークスイートとリファレンス実装を公開し、体系的な評価と再現可能性を可能にする。
• 分布シフト、高次元性、不連続な目的関数といった、オフラインMBOの核心的な課題を、代表的ではあるが現実的に難しいタスクを通じて特定する。
• 共有されたメトリクスとフレームワークを提供することで、オフラインMBO分野における研究を活性化し、異なる分野にまたがるアルゴリズムの性能と一般化能力を測定可能にする。

提案手法

• ベンチマークには、タンパク質設計、DNA配列最適化、材料発見、ロボット制御から得られた12の多様なタスクが含まれる。
• 各タスクは、高次元の設計空間、滑らかでないまたは不連続な目的関数、複雑な構造-機能関係といった現実的な課題を反映するように設計されている。
• 統一された評価プロトコルが確立されており、すべての手法が同じ静的データセット上で評価され、複数のランダムシードにおける最高の目的関数値を報告する。
• 勾配上昇による目的関数モデル、REINFORCEベースのポリシー勾配、ガウス過程を用いたベイズ最適化、CMA-ES、および保守的目的モデル（COMs）を含む、複数のオフラインMBO手法のリファレンス実装が提供されている。
• 各手法のハイパーパrameterは体系的にチューニングされ、タスク間で一貫して適用されており、再現性のための詳細な設定ガイドラインが提供されている。
• 学習された目的関数の訓練には最尤推定を用い、最適化の性能は得られた予測された目的関数値の最大値に基づいて評価される。

実験結果

リサーチクエスチョン

• RQ1 異なるオフラインMBO手法は、生物学、材料科学、ロボット工学など、異なる分野から得られる多様で高次元の現実的な最適化タスクにおいて、どのように性能を発揮するか？
• RQ2 既存のオフラインMBO手法は、分布シフト、不連続性、次元数の違いの程度が異なるタスク間で、どの程度一般化できるか？
• RQ3 実際のオフラインMBOアルゴリズムの性能に最も大きな影響を与えるハイパーパrameterと設計選択は何か？
• RQ4 統一されたベンチマークプロトコルは、オフラインMBO手法の公平かつ再現可能な比較をどのように可能にするか？
• RQ5 高次元、滑らかでない、またはスパースなデータ環境に直面した場合、現在のオフラインMBO手法の限界は何か？

主な発見

• ベンチマークの結果、保守的目的モデル（COMs）は、特に分布シフトが顕著でデータがスパースな状況において、他の手法を一貫して上回る性能を示した。
• 学習された目的関数モデルを用いた勾配上昇は、連続的で滑らかな目的関数を持つタスクでは良好な性能を発揮するが、不連続または高次元の関数では困難をきたす。
• ガウス過程を用いたベイズ最適化は、低次元から中次元のタスクでは強力な性能を示すが、高次元の設計空間へのスケーリングは困難である。
• REINFORCEベースの手法は離散的タスクでは有効であるが、収束が悪化するのを避けるために、ポリシー分布と学習率の慎重なチューニングが必要である。
• CMA-ESは、良好に訓練された目的関数モデルと組み合わせると、さまざまなタスクで高いロバストネスを示すが、初期化やハイパーパrameter設定に敏感である。
• 統一された評価プロトコルは、公平な比較を成功裏に実現し、手法の性能がタスクによって顕著に異なることが明らかになった。これにより、分野に適したアルゴリズム設計の必要性が強調された。