[論文レビュー] Conservative Objective Models for Effective Offline Model-Based Optimization

Brandon Trabucco, Aviral Kumar+2 more|arXiv (Cornell University)|Jul 14, 2021

Simulation Techniques and Applications被引用数 10

ひとこと要約

本稿では、学習済みの目的関数モデルにおける過大評価誤差を低減するため、分布外の入力に対して保守的な予測を強制することで、オффラインモデルベース最適化（MBO）のためのシンプルで効果的な手法、保守的目的モデル（COMs）を提案する。教師あり回帰と adversarial 正則化を組み合わせることで、タンパク質設計、ロボット形状、ニューラルアーキテクチャ、超伝導材料を含む多様なオフライン MBO タスクにおいて、最小限のハイパーパrameterチューニングで優れた安定性を示す性能を達成する。

ABSTRACT

Computational design problems arise in a number of settings, from synthetic biology to computer architectures. In this paper, we aim to solve data-driven model-based optimization (MBO) problems, where the goal is to find a design input that maximizes an unknown objective function provided access to only a static dataset of prior experiments. Such data-driven optimization procedures are the only practical methods in many real-world domains where active data collection is expensive (e.g., when optimizing over proteins) or dangerous (e.g., when optimizing over aircraft designs). Typical methods for MBO that optimize the design against a learned model suffer from distributional shift: it is easy to find a design that "fools" the model into predicting a high value. To overcome this, we propose conservative objective models (COMs), a method that learns a model of the objective function that lower bounds the actual value of the ground-truth objective on out-of-distribution inputs, and uses it for optimization. Structurally, COMs resemble adversarial training methods used to overcome adversarial examples. COMs are simple to implement and outperform a number of existing methods on a wide range of MBO problems, including optimizing protein sequences, robot morphologies, neural network weights, and superconducting materials.

研究の動機と目的

• 分布外で無効な設計に対して、学習済みモデルが誤って高い目的関数値を予測してしまう、オフラインモデルベース最適化（MBO）における過大評価の課題に対処すること。
• データ多様体に近い分布外の入力において、真の目的関数を下から抑える保守的な目的関数のモデルを学習すること。
• 特にタンパク質工学や航空機設計など、高コスト・高リスクな分野において、アクティブなデータ収集なしに効果的な最適化を可能にすること。
• アクティブなデータ収集や複雑な生成モデリングに依存しないようにすることで、オフライン MBO の安定性と信頼性を向上させること。
• 多様で高次元のタスクにおいて強力な性能を維持する、シンプルで即時利用可能な、既存の MBO 手法の代替手段を提供すること。

提案手法

• COMs は、静的データセットに含まれる入力-目的関数値ペairを用いた教師あり回帰により、ニューラルネットワークが目的関数値を予測するように学習する。
• 本手法は、2つの追加の損失項を導入する：1つは訓練データにおけるモデル予測値を最大化するもの、もう1つは adversarial に生成された分布外入力における予測値を最小化するものである。
• adversarial 要因は、モデル出力の勾配上昇法を用いて生成され、目的関数を過大評価する可能性のある入力をシミュレートする。
• 最終的なモデルは、保守的目的関数に基づく標準的な勾配上昇法により最適化され、分布シフトに対して頑健であることが保証される。
• 本手法は、教師あり学習における adversarial 訓練に類似しているが、オフライン MBO における目的関数モデリングに適用される。
• adversarial 正則化の強度を制御するための1つのハイパーパrameter τ を使用しており、連続的入力空間では τ=0.5、離散的入力空間では τ=2.0 を使用する。

実験結果

リサーチクエスチョン

• RQ1 アクティブなデータ収集や複雑な生成モデリングを必要とせず、シンプルで保守的な目的関数モデルが、オフライン MBO における過大評価誤差を低減できるか？
• RQ2 分布外の入力に対する adversarial 正則化は、標準的な教師あり回帰と比較して、オフライン最適化の信頼性と性能をどの程度向上させるか？
• RQ3 COMs は、タンパク質配列設計やロボット形状最適化などの多様で高次元の MBO タスクにおいて、どの程度高い性能を維持できるか？
• RQ4 評価予算の変動に対して COMs はどの程度頑健であり、少ない候補評価数でも性能を維持できるか？
• RQ5 限られたデータ環境下でも、既存の最先端手法を上回る最適化性能を COMs が達成できるか？

主な発見

• COMs は、タンパク質配列設計、ロボット形状、ニューラルアーキテクチャ、超伝導材料を含む、すべての評価タスクで標準的な勾配上昇法に基づく教師あり回帰を一貫して上回る。
• HopperController タスクでは、次に優れた手法よりも 1.3 倍の性能向上を達成し、高次元連続空間でも優れた結果を示した。
• COMs は評価予算の削減に対しても耐性がある：HopperController では、COMs はわずか 55 回の評価でほぼ最適な性能を達成したが、ナーブなモデルは自身のピークに到達するまでに2倍の評価回数を要した。
• 1つの普遍的な τ ハイパーパrameter（連続的入力では τ=0.5、離散的入力では τ=2.0）で多様なタスクにおいて強い性能を維持でき、頑健性と導入の容易さを示している。
• アブレーションスタディの結果、評価予算が制限された状況下でも COMs はベースライン手法を一貫して上回っており、その安定性と信頼性を裏付けている。
• 理論的および実験的に、COMs はデータ多様体に近い分布外の入力において過大評価を抑制しており、より信頼性が高く効果的な最適化を実現している。