[論文レビュー] An Online Method for Distributionally Deep Robust Optimization

Qi Qi, Zhishuai Guo+3 more|arXiv (Cornell University)|Jun 17, 2020

Stochastic Gradient Optimization Techniques参考文献 44被引用数 5

ひとこと要約

本稿は、深層学習における分布ロバスト最適化（DRO）のための双対性フリーなオンライン確率的手法を提案する。min-max定式化を双対変数の必要のない最小化問題に変換することで、高次元の双対変数を回避する。ポリャク-ロジャシュエヴィッチ（PL）条件のもとで、大規模バッチサイズに依存せずに最適なサンプル複雑度を達成でき、計算効率の高いオンライン学習と向上したロバスト性を実現する。

ABSTRACT

In this paper, we propose a practical online method for solving a distributionally robust optimization (DRO) for deep learning, which has important applications in machine learning for improving the robustness of neural networks. In the literature, most methods for solving DRO are based on stochastic primal-dual methods. However, primal-dual methods for deep DRO suffer from several drawbacks: (1) manipulating a high-dimensional dual variable corresponding to the size of data is time expensive; (2) they are not friendly to online learning where data is coming sequentially. To address these issues, we transform the min-max formulation into a minimization formulation and propose a practical duality-free online stochastic method for solving deep DRO with KL divergence regularization. The proposed online stochastic method resembles the practical stochastic Nesterovs method in several perspectives that are widely used for learning deep neural networks. Under a Polyak-Lojasiewicz (PL) condition, we prove that the proposed method can enjoy an optimal sample complexity without any requirements on large batch size. Of independent interest, the proposed method can be also used for solving a family of stochastic compositional problems.

研究の動機と目的

• 既存の確率的プライマル-デュアル手法が高次元のデュアル変数に起因する高い計算コストを抱えるという限界を是正する。
• プライマル-デュアル手法が順次データが到着するオンライン学習環境と互換性がないという問題を克服する。
• 順次データに適した効率的かつスケーラブルなオンライン最適化手法を、深層DRO用に開発する。
• ポリャク-ロジャシュエヴィッチ（PL）条件のもとで、大規模バッチサイズに依存せずに最適なサンプル複雑度を達成する。
• DROをはるかに超える、より広いクラスの確率的合成最適化問題への応用を可能にする。

提案手法

• DROのmin-max定式化を、高次元のデュアル変数を必要としない最小化問題に変換する。
• 分布ロバスト性をモデル化するためにKL発散度正則化を用いた、双対性フリーなオンライン確率的最適化手法を提案する。
• 確率的ネステロフ法の構造をDRO設定に適応させ、その良好な収束特性を活用する。
• 順次データ処理によりオンライン学習を統合し、ストリーミングデータ環境に適した手法とする。
• ミニバッチ形式の入ってくるデータに基づいてモデルパラメータを更新するための確率的近似フレームワークを用いる。
• ポリャク-ロジャシュエヴィッチ（PL）条件を活用し、最適なサンプル複雑度を達成する収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 高次元のデュアル変数の計算負荷を回避できる、深層DRO用の双対性フリーなオンライン手法を設計できるか？
• RQ2 順次データが到着するオンライン環境でも、提案手法が強力な収束保証を維持できるか？
• RQ3 標準的な仮定のもとで、大規模バッチサイズに依存せず、最適なサンプル複雑度を達成できるか？
• RQ4 この手法は、DROをはるかに超える他の確率的合成最適化問題へどの程度一般化できるか？
• RQ5 実際の応用において、既存のプライマル-デュアル手法と比較して、収束速度とロバスト性の点でどのように優れているか？

主な発見

• 提案手法は、高次元のデュアル変数の維持・更新の必要性を排除し、計算オーバーヘッドを顕著に削減する。
• ポリャク-ロジャシュエヴィッチ（PL）条件のもとで、大規模バッチサイズに依存せず、最適なサンプル複雑度を達成する。
• オンライン学習と互換性があり、順次到着するデータストリームに対する効率的な学習が可能である。
• この手法の収束特性は、確率的ネステロフ法に類似しており、同様の加速特性を享受する。
• この手法は、分布ロバストな深層学習をはるかに超える、確率的合成問題の族へ拡張可能である。