[論文レビュー] Improved Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandit

Vasilii Novitskii, Alexander Gasnikov|arXiv (Cornell University)|Jan 11, 2021

Advanced Bandit Algorithms Research参考文献 11被引用数 5

ひとこと要約

本稿では、高次平滑性（β > 2）を持つ強い凸および凸関数に対するゼロ階微分なし最適化を、1点バンディット設定におけるカーネルベースの勾配推定器を導入することで改善する。期待最適化誤差の収束速度は、$ \tilde{\mathcal{O}}\left(\frac{n^{2 - \frac{1}{\beta}}}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$ に向上し、従来の方法と比較して次元依存性を $n^2$ から $n^{2 - \frac{1}{\beta}}$ に削減する。

ABSTRACT

We consider $β$-smooth (satisfies the generalized Holder condition with parameter $β> 2$) stochastic convex optimization problem with zero-order one-point oracle. The best known result was arXiv:2006.07862: $\mathbb{E} \left[f(\overline{x}_N) - f(x^*) ight] = ilde{\mathcal{O}} \left(\dfrac{n^{2}}{γN^{\frac{β-1}β}} ight)$ in $γ$-strongly convex case, where $n$ is the dimension. In this paper we improve this bound: $\mathbb{E} \left[f(\overline{x}_N) - f(x^*) ight] = ilde{\mathcal{O}} \left(\dfrac{n^{2-\frac{1}β}}{γN^{\frac{β-1}β}} ight).$

研究の動機と目的

• 高次平滑性（β > 2）が利用可能であるが、ゼロ階・1点オракルアクセスに限る微分なし最適化におけるギャップを埋める。
• 敵対的ノイズと強い凸性が存在する状況下での確率的射影勾配法の収束速度を向上させる。
• カーネルスムージングを用いて高次平滑性を活用することで、最適化誤差境界における次元依存性を $n^2$ から $n^{2 - \frac{1}{\beta}}$ に低減する。
• 凸および強い凸な設定において、与えられた最適化誤差 $\varepsilon$ を達成するためのタイトな反復複雑度の上限を確立する。

提案手法

• 1点ステップサイズの確率的射影勾配アルゴリズムを提案し、カーネルベースの勾配推定器 $\widetilde{g}_k = \frac{n}{2\tau_k}(y_k - y_k')e_kK(r_k)$ を用いる。ここで $y_k, y_k'$ は $x_k \pm \tau_k r_k e_k$ におけるノイズ付き関数値である。
• ポリャクとツバコフ（1990）にインspiredされたカーネルスムージングを用い、$\beta > 2$ の一般化されたホルダー平滑性条件下で高次平滑性を活用し、より良い勾配近似を実現する。
• 一様分布に従う単位球面上のランダムな方向 $e_k$ と、$[-1,1]$ 上に一様に分布するスケーリング $r_k$ を用いることで、勾配推定を不偏に保つ。
• 凸ケースを扱うために正則化技術 $f_\gamma(x) = f(x) + \frac{\gamma}{2}\|x - x_0\|^2$ を適用し、正則化最小化子を介して収束保証を導出する。
• 敵対的ノイズと一般化されたホルダー平滑性（パラメータ $\beta > 2$）に関する仮定の下で、期待最適化誤差の上界を導出する。
• 近似誤差と分散項のバランスを最適化することで反復複雑度の上限を確立し、$n$、$\gamma$、$\beta$ に対するより良い依存性を達成する。

実験結果

リサーチクエスチョン

• RQ1 高次平滑性（β > 2）は、1点バンディットフィードバックを伴うゼロ階確率的最適化で効果的に活用可能か？
• RQ2 収束速度が次元 $n$、反復回数 $N$、強い凸性パラメータ $\gamma$、平滑性パラメータ $\beta$ にどのように依存するか？
• RQ3 高次平滑性が存在する場合、誤差境界における次元依存性を $n^2$ を超えて改善可能か？
• RQ4 提案されたカーネルベースの勾配推定器は、既存手法と比較して収束速度および反復複雑度で優れているか？
• RQ5 正則化とカーネルスムージングを用いることで、凸ケースにおいて $n$ および $\gamma$ に改善された依存性で $\varepsilon$-精度を達成可能か？

主な発見

• 強い凸ケースでは、期待最適化誤差が $\mathbb{E}[f(\overline{x}_N) - f(x^*)] = \tilde{\mathcal{O}}\left(\frac{n^{2 - \frac{1}{\beta}}}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$ で抑えられ、従来の $\tilde{\mathcal{O}}\left(\frac{n^2}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$ よりも向上する。
• 凸ケースでは、$\varepsilon$-精度に到達する反復回数は $N(\varepsilon) = \tilde{\mathcal{O}}\left(\frac{n^{2 + \frac{1}{\beta-1}}}{\varepsilon^{2 + \frac{2}{\beta-1}}}\right)$ であり、従来の研究と比較して次元依存性が改善されている。
• 提案手法は $n^{2 - \frac{1}{\beta}}$ の次元依存性を達成する一方で、$n^2$ を超えないため、ゼロ階最適化における次元の影響が高次平滑性によって軽減されることを示している。
• 数値実験により、$\beta = 3$ および $\beta = 5$ の場合、高次平滑性を活用しない手法、特に $\beta = 2$ のアハヴァンの手法よりも性能が優れていることが確認された。
• 敵対的ノイズ下でもロバスト性を維持し、ノイズの平均がゼロでない場合でも収束速度が向上するが、大偏差境界については未解決の問題のまま残っている。
• 解析により、カーネルベースの勾配推定器における近似誤差と分散のトレードオフが $\tau_k$ の調整によって効果的に制御されており、これにより収束が高速化されることを示している。