[論文レビュー] Generalized Random Direction Newton Algorithms for Stochastic Optimization

Soumen Pachal, L A Prashanth+2 more|arXiv (Cornell University)|Feb 23, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、追加の関数測定によってバイアスを可制御できる一般化RDSAベースのヘシアン推定量の族を導入し、確率的ニュートン法内での漸近的および非漸近的収束を分析します。

ABSTRACT

We present a family of generalized Hessian estimators of the objective using random direction stochastic approximation (RDSA) by utilizing only noisy function measurements. The form of each estimator and the order of the bias depend on the number of function measurements. In particular, we demonstrate that estimators with more function measurements exhibit lower-order estimation bias. We show the asymptotic unbiasedness of the estimators. We also perform asymptotic and non-asymptotic convergence analyses for stochastic Newton methods that incorporate our generalized Hessian estimators. Finally, we perform numerical experiments to validate our theoretical findings.

研究の動機と目的

• 不確実性の下でゼロ次情報を用いて最適化する動機付け。
• ノイズのある関数測定を利用してバイアスを低減する一般化ヘシアン推定量を開発する。
• これらの推定量を用いた確率的ニュートン法の漸近的無バイアス性と収束性を確立する。
• ゼロ次オーダーのキュービック正則化ニュートン法の非漸近的収束界を導出する。
• ベンチマーク関数で理論的発見を数値実験で検証する。

提案手法

• ヘシアンを推定する一般化D演算子を、切り捨てられた級数展開を用いて定義する。
• D演算子を2回適用（同一/異なる切り捨て）してヘシアン推定量を構成する。
• ガウス摂動下で無バイアスなヘシアン推定量を得るために（ΔΔ^T − I）スケーリングを用いる。
• 推定量のバイアスと分散の境界を提供：δ^kのバイアスで、測定関数が2k+1回必要。
• 適応ヘシアン平均化と射影を備えたゼロ次オーダーの確率的ニュートン更新を提示する。
• ε-SOSP（勾配/ヘシアンのバイアスを含む）を達成する非漸近的サンプル複雑性界を、O(ε^{-(7/2+2/k)})として導出する。

実験結果

リサーチクエスチョン

• RQ1 RDSAのヘシアン推定量を、より多くの関数測定コストと引き換えにバイアスを低減するよう Generalize するにはどうすればよいか。
• RQ2 標準的な仮定の下で、これらの一般化ヘシアン推定量のバイアスと分散の境界は何か。
• RQ3 これらの推定量を用いた確率的ニュートン法は漸近的にファーストオーダー安定点（FOSP）へ収束するか。
• RQ4 一般化ヘシアン推定量を用いるゼロ次オーダーのキュービック正則化ニュートン法は、非漸近的なサンプル複雑性を定量的に示してε-SOSPへ収束できるか。
• RQ5 ヘシアン推定量の等切り捨てと不等切り捨ての影響が、バイアスと効率に与える影響は何か。

主な発見

• より多くの関数測定を用いた一般化ヘシアン推定量は、低次のバイアスを達成する。これはO(δ^k)。
• 推定量のバイアス境界は、測定回数が2k+1回でO(δ^k)となり、古典的手法より改善される。
• これらの推定量を用いた確率的ニュートン法は、漸近的にFOSP集合へ収束することが確立されている。
• 一般化推定量を用いるゼロ次オーダーのキュービックニュートンの非漸近的界は、ε-SOSPを達成するためのサンプル複雑性をO(ε^{-(7/2+2/k)})と与える。
• ラストリガン（Rastrigin）目的関数上の実験は、より多くの関数測定を持つ推定量が固定のシミュレーション予算内でより良い性能を示すことを支持する。
• D-演算子の不等切り捨ては、バイアス低減の利点を提供せず、関数測定コストを増加させる。