[論文レビュー] Regret analysis of the Piyavskii-Shubert algorithm for global Lipschitz optimization

Clément Bouttier, Tommaso Cesari+2 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research参考文献 34被引用数 4

ひとこと要約

本稿は、グローバルリプシッツ最適化におけるPiyavskii-Shubertアルゴリズムの最初のレグレット解析を提供し、非認証および認証済み設定の両方におけるタイトなサンプル複雑度バウンドを確立する。本稿は、関数層のパッキング数を活用することで、近似的に最適な性能を達成することを証明し、Hansenら（1991）が提起した認証複雑度に関する未解決問題を解決する。

ABSTRACT

We consider the problem of maximizing a non-concave Lipschitz multivariate function over a compact domain by sequentially querying its (possibly perturbed) values. We study a natural algorithm designed originally by Piyavskii and Shubert in 1972, for which we prove new bounds on the number of evaluations of the function needed to reach or certify a given optimization accuracy. Our analysis uses a bandit-optimization viewpoint and solves an open problem from Hansen et al.\\ (1991) by bounding the number of evaluations to certify a given accuracy with a near-optimal sum of packing numbers.

研究の動機と目的

• 逐次ブラックボックスアクセス下でのグローバルリプシッツ最適化におけるPiyavskii-Shubertアルゴリズムのサンプル複雑度を分析すること。
• Hansenら（1991）が提起した、与えられた最適化精度を認証するために必要な評価回数に関する未解決問題を解明すること。
• 非認証および認証済みバージョンの両方におけるε-最適性を達成するために必要な関数評価回数のバウンドを確立すること。
• 目的関数の複数の形状とスケールに適応できるように、関数のレイヤーを用いた新しい解析によって、アルゴリズムの性能を示すこと。

提案手法

• 未知関数をリプシッツ連続性と過去の評価に基づいて上界を提供する区分的放物型代理関数をアルゴリズムが使用する。
• 各ラウンドで、次のクエリポイントは代理関数の最大化点として選ばれ、探索の段階的改善が保証される。
• 認証済みアルゴリズムでは、代理関数と現在の推奨事項との最大差として、誤差証明が計算される。
• 関数層のパッキング数の和の新しい積分表現が導入され、近似的最適集合の代わりに適応性の向上が図られる。
• バンドイット最適化の視点を活用して、単純レグレットと認証誤差のバウンドを導出する。
• サンプル複雑度が関数層のパッキング数の和に比例し、近似的に最適性に達することが示される。

実験結果

リサーチクエスチョン

• RQ1 非認証設定下で、ε-最適性を達成するためにPiyavskii-Shubertアルゴリズムに必要な評価回数は何か？
• RQ2 認証済み設定下で、推奨事項がε-最適であることを認証するために必要な評価回数は何か？
• RQ3 近似的最適集合の代わりに、関数層のパッキング数を用いてアルゴリズムの性能をバウンドできるか？
• RQ4 Piyavskii-Shubertアルゴリズムは、認証済みおよび非認証済み両設定で近似的に最適なサンプル複雑度を達成できるか？
• RQ5 リプシッツ制約下で、目的関数の異なる形状とスケールに、アルゴリズムはどのように適応するか？

主な発見

• 本稿は、非認証設定下でε-最適性を達成するために必要な評価回数が、関数層のパッキング数の和によってバウンドされることを確立する。
• 認証済み設定では、ε-最適性を認証するために必要な評価回数が、近似的に最適なパッキング数の和によってバウンドされ、Hansenら（1991）の未解決問題が解決される。
• 解析により、アルゴリズムの性能が関数層のパッキング数を通じて、目的関数の内因的幾何構造に適応することが示される。
• バウンドは対数要因を除いてタイトであり、n⁻¹/dに比例する従来の最悪ケースバウンドを改善する。
• 認証済みバージョンのアルゴリズムは、Bachocら[2]の関連研究で示されたインスタンス依存の下界と定数因子を除いて一致するサンプル複雑度を達成する。
• 本手法は、先行研究と比較して乗法的定数を改善するパッキング数の和の積分表現を提供する。