[論文レビュー] Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation

Justin Fu, Sergey Levine|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用数 8

ひとこと要約

本稿では、分布外入力に対する不確実性を意識した保守的な予測を生成するために、正規化最大尤度（NML）推定器の扱いやすい近似を用いる、新しいオフラインモデルベース最適化手法NEMOを提案する。NMLの不確実性を的確に扱う仕組みにより、NEMOはモデルの悪用を回避し、材料科学、生物学、ロボット工学の多様なオフライン最適化タスクで最先端の性能を達成する。

ABSTRACT

In this work we consider data-driven optimization problems where one must maximize a function given only queries at a fixed set of points. This problem setting emerges in many domains where function evaluation is a complex and expensive process, such as in the design of materials, vehicles, or neural network architectures. Because the available data typically only covers a small manifold of the possible space of inputs, a principal challenge is to be able to construct algorithms that can reason about uncertainty and out-of-distribution values, since a naive optimizer can easily exploit an estimated model to return adversarial inputs. We propose to tackle this problem by leveraging the normalized maximum-likelihood (NML) estimator, which provides a principled approach to handling uncertainty and out-of-distribution inputs. While in the standard formulation NML is intractable, we propose a tractable approximation that allows us to scale our method to high-capacity neural network models. We demonstrate that our method can effectively optimize high-dimensional design problems in a variety of disciplines such as chemistry, biology, and materials engineering.

研究の動機と目的

• 標準的なプロキシモデルが分布内データに過適合し、分布外の入力を悪用する問題を解決する。
• 追加の関数評価を必要とせず、分布外の入力に対しても信頼性高く一般化できるスケーラブルな不確実性を考慮したフォワードモデルを開発する。
• 情報理論的原則に基づき、高次元かつデータが乏しい最適化問題における不確実性推定の原理的かつ整合的な手法を提供する。
• 関数評価が高価で安全が重要な分野、例えば材料設計、タンパク質工学、ニューラルアーキテクチャ探索において、耐障害性の高い最適化を実現する。
• 高次元設定における正規化最大尤度（NML）推定器の非可解性を克服し、推論時に効率的にNML分布を近似できる、扱いやすいアモアタイズド近似を導入する。

提案手法

• 分布のシフトを内生的に扱える、原理的で不確実性を考慮したフォワードモデルとして、条件付きNML（CNML）分布を提案する。
• 非可解なNML推定器の扱いやすいニューラルネットワークベースの近似を導入し、高次元入力や複雑な関数空間へのスケーラビリティを実現する。
• 推論時に効率的にNML分布を近似できる、学習済みのパラメータ化モデルを用いてNML推定の計算コストをアモアタイズする。
• 得られた不確実性を考慮したモデルを、追加の関数評価なしに、下流の最適化パイプラインにおける保守的な代替目的関数として使用する。
• NEMOが予測する分布を用いて、複数のパーティクルを一度に最適化することで、さまざまなオフライン最適化タスクに適用する。
• 標準的な最適化アルゴリズムとNEMOモデルを統合し、高信頼性で分布外を認識した設計を生成する。

実験結果

リサーチクエスチョン

• RQ1 扱いやすいNML推定器の近似が、オフラインモデルベース最適化におけるモデルの悪用を効果的に緩和できるか。
• RQ2 NEMOが得る不確実性推定は、アンサンブルやベイジアンニューラルネットワークといった標準的手法と比較して、分布外の入力に対しどの程度一般化できるか。
• RQ3 NEMOは、現実的で高次元の設計問題において、最先端のオフライン最適化ベースラインをどの程度上回るか。
• RQ4 NMLの理論的レグレットバウンドは、特にデータが少ない状況において実際のオフライン最適化でも成立するか。
• RQ5 NMLフレームワークは、実用的な材料、生物学、ロボット工学の応用に向け、高容量のニューラルネットワークモデルへ効果的にスケーリング可能か。

主な発見

• Superconductorタスクにおいて、NEMOは100百分位数スコア127.0 ± 7.292を達成し、次に良い手法（アンサンブル：88.01 ± 10.43）とデータセット最大値（73.90）を大きく上回った。
• GFPタスクでは、NEMOが100百分位数スコア3.359 ± 0.036を達成し、データセット最大値の3.152とすべてのベースラインを上回った。
• HopperControllerタスクでは、NEMOが100百分位数スコア2130.1 ± 506.9を達成し、データセット最大値の1361.6を著しく上回った。
• 50百分位数評価では、SuperconductorでNEMOが66.41 ± 4.618を達成し、GP-BO（72.42 ± 0.000）および他のすべてのベースラインを上回った。
• 定性的な分析から、NEMOは妥当な不確実性推定を生成している一方、アンサンブルはデータが少ない状況で過信した誤った予測を示した。
• アブレーションスタディにより、プロキシ関数への直接最適化よりもNML近似が著しく性能を向上させることを確認し、不確実性を考慮したモデリングの必要性を裏付けた。