[論文レビュー] A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning

Sijia Liu, Pin‐Yu Chen+4 more|arXiv (Cornell University)|Jun 11, 2020

Sparse and Compressive Sensing Techniques参考文献 83被引用数 20

ひとこと要約

本論文は、信号処理および機械学習におけるゼロ次（ZO）最適化について包括的なレビューを提供しており、勾配を必要としない代替手法として、関数評価を用いて勾配を推定するZO手法を提示している。その効率性、収束特性、ブラックボックスの敵対的攻撃、モデルの解釈可能性、プライバシー保護学習への応用について強調しており、理論的進展と実装の両方をカバーしている。

ABSTRACT

Zeroth-order (ZO) optimization is a subset of gradient-free optimization that emerges in many signal processing and machine learning applications. It is used for solving optimization problems similarly to gradient-based methods. However, it does not require the gradient, using only function evaluations. Specifically, ZO optimization iteratively performs three major steps: gradient estimation, descent direction computation, and solution update. In this paper, we provide a comprehensive review of ZO optimization, with an emphasis on showing the underlying intuition, optimization principles and recent advances in convergence analysis. Moreover, we demonstrate promising applications of ZO optimization, such as evaluating robustness and generating explanations from black-box deep learning models, and efficient online sensor management.

研究の動機と目的

• 信号処理および機械学習の応用を対象としたZO最適化手法の統一的概要を提供すること。
• 特に滑らかでないおよび制約付き設定におけるZO勾配推定と収束速度の理論的基盤を分析すること。
• 勾配が入手不能または計算が困難なブラックボックス環境において、ZO最適化の実用的有用性を示すこと。
• プライバシー、離散最適化、タイトな収束バウンダリーといった分野における、ZO最適化の未解決課題と今後の研究方向性を特定すること。

提案手法

• 微分の計算を必要とせず、関数値クエリを用いて有限差分に基づく勾配推定を実装する。
• 滑らかでない目的関数に対処するために、滑らかさを向上させる摂動を導入するランダム化スムージングおよびダブルランダマイゼーションを採用する。
• 線形または二次補間を用いて部分勾配を近似するモデルベースの信頼領域法を導入し、滑らかさの仮定に依存しないようにする。
• バリア関数およびラグランジュ乗数法を用いて、ブラックボックス制約付き問題へのZO最適化の拡張を実現する。
• 高次導関数の計算（例：メタラーニングにおける）に生じる導関数のボトルネックを克服するために、自動微分とZO手法を統合する。
• リラクゼーションまたは特別なアルゴリズム設計を用いて、離散ドメインにおける直接的なZO最適化を探索し、自然言語処理や組合せ最適化におけるテキスト、グラフ、カテゴリカルデータへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 勾配へのアクセスが制限されるにもかかわらず、ZO最適化はどのように一階法と同等の収束速度を達成できるのか？
• RQ2 滑らかでないおよび制約付き非凸設定におけるZO最適化の理論的限界は何か？
• RQ3 ZO手法は、分散型およびフェデレーテッドラーニング環境においてどのようにプライバシーを保護するように適応可能か？
• RQ4 NLP や組合せ最適化で一般的な離散変数を扱うために、ZO最適化はどのように拡張可能か？
• RQ5 一般非凸最適化問題におけるZO手法の可能な限りタイトな収束速度は何か？

主な発見

• ZO最適化は勾配が計算不能な場合に一階法と同等の収束速度を達成でき、その代替手段として有効である。
• ランダム化スムージングおよびダブルランダマイゼーションにより、滑らかでない目的関数に対しても効果的な勾配推定が可能になるが、関数クエリの複雑さが増加する。
• モデルベースの信頼領域法は、滑らかさを要件としない部分勾配の近似を可能にし、有限差分推定器に対する頑健な代替手段を提供する。
• ZOに基づく敵対的攻撃は、ブラックボックス環境においてホワイトボックス攻撃と同等の効果を示し、ディープニューラルネットワークの耐性評価を可能にする。
• ZO最適化は、関数値クエリのみで勾配情報を隠蔽することで、微分プライバシーの原則と整合し、プライバシー保護学習を支援する。
• ZO手法は、勾配計算が困難または高コストとなる自動機械学習、メタラーニング、オンラインセンサ管理の分野において、有望な応用が見込まれる。