[論文レビュー] A Practical Online Method for Distributionally Deep Robust Optimization.

Qi Qi, Zhishuai Guo+3 more|arXiv (Cornell University)|Jun 17, 2020

Statistical Methods and Inference被引用数 6

ひとこと要約

本稿では、深層学習における分布ロバスト最適化（DRO）のための双対性フリーなオンライン確率的手法を提案する。min-max定式化を双対変数を排除することで最小化問題に変換し、高次元の双対変数を回避し、効率的なオンライン学習を可能にする。ポリャク-ロジャシュエヴィッチ（PL）条件の下で、従来のmin-maxまたはmin定式化手法と比較して、最適なサンプル複雑度と改善されたラウンド複雑度を達成する。

ABSTRACT

In this paper, we propose a practical online method for solving a distributionally robust optimization (DRO) for deep learning, which has important applications in machine learning for improving the robustness of neural networks. In the literature, most methods for solving DRO are based on stochastic primal-dual methods. However, primal-dual methods for deep DRO suffer from several drawbacks: (1) manipulating a high-dimensional dual variable corresponding to the size of data is time expensive; (2) they are not friendly to online learning where data is coming sequentially. To address these issues, we transform the min-max formulation into a minimization formulation and propose a practical duality-free online stochastic method for solving deep DRO with KL divergence regularization. The proposed online stochastic method resembles the practical stochastic Nesterov's method in several perspectives that are widely used for learning deep neural networks. Under a Polyak-Lojasiewicz (PL) condition, we prove that the proposed method can enjoy an optimal sample complexity and a better round complexity (the number of gradient evaluations divided by a fixed mini-batch size) with a moderate mini-batch size than existing algorithms for solving the min-max or min formulation of DRO. Of independent interest, the proposed method can be also used for solving a family of stochastic compositional problems.

研究の動機と目的

• 高次元の双対変数による計算コストとオンライン学習への対応の悪さのため、深層DROにおけるプライマル・デュアル手法の非効率性を是正すること。
• 双対変数の操作を回避し、逐次的なデータにスケーラブルに拡張できる実用的なオンライン手法を開発すること。
• ポリャク-ロジャシュエヴィッチ（PL）条件の下で、深層DROのための最適なサンプル複雑度と改善されたラウンド複雑度を達成すること。
• より広範なクラスの確率的合成的問題への応用を可能にすること。

提案手法

• 双対変数を排除することで、min-max DRO定式化を最小化問題に変換し、双対性フリーなアプローチを実現する。
• 分布ロバスト性を扱うために、KL発散正則化を用いたオンライン確率的最適化フレームワークを採用する。
• 高速収束を実現するため、実用的な確率的ネステロフ法をインspiredした更新則を用いる。
• 固定されたミニバッチサイズを維持し、反復ごとの勾配評価回数を最小化することで、低ラウンド複雑度を達成する。
• データが逐次的に到着するオンライン学習に適応するように設計されている。
• PL条件を活用することで、最適なサンプル複雑度を保証する収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 双対性フリーなオンライン確率的手法は、従来のプライマル・デュアル法やmin-max法と比較して、深層DROにおけるより良いラウンド複雑度を達成できるか？
• RQ2 ポリャク-ロジャシュエヴィッチ（PL）条件の下で、提案手法のサンプル複雑度はどのように振る舞うか？
• RQ3 本手法は、DROを越えた確率的合成的問題に対しても効果的に適用可能か？
• RQ4 オンライン設定において、中程度のミニバッチサイズでも、本手法は効率性とスケーラビリティを維持できるか？
• RQ5 PL条件の下で、本手法の理論的収束挙動はいかなるものか？

主な発見

• 提案手法は、ポリャク-ロジャシュエヴィッチ（PL）条件の下で、深層DROに対して最適なサンプル複雑度を達成する。
• min-maxまたはmin定式化のDROを解く既存のアルゴリズムと比較して、より良いラウンド複雑度を示す。
• 高次元の双対変数に起因する計算負荷を回避することで、効率性が向上する。
• 双対性フリーかつ確率的性質を有するため、オンライン学習に適している。
• 本手法は、確率的合成的問題の族への拡張が可能である。
• 理論的分析により、中程度のミニバッチサイズでも収束が保証され、実用的導入を支持する。