[論文レビュー] Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization

Wei Jiang, Gang Li+3 more|arXiv (Cornell University)|Jul 18, 2022

Risk and Portfolio Optimization被引用数 4

ひとこと要約

本稿では、各反復で $\mathcal{O}(1)$ ブロックの $g_i(\mathbf{w})$ のみをサンプリング可能な、$\sum_{i=1}^{m}f_i(g_i(\mathbf{w}))$ の形をした結合的複合最適化問題に対して、マルチブロック・シングルプローブの分散低減（MSVR）推定器を提案する。サンプリング済みおよび未サンプリングブロックの両方のノイズを低減するためのカスタム誤差補正項を導入することで、MSVR は改善されたサンプル複雑度を達成する：非凸問題では $\mathcal{O}(\epsilon^{-3})$、凸問題では $\mathcal{O}(\epsilon^{-2})$、強く凸問題では $\mathcal{O}(\mu^{-1}\epsilon^{-1})$ —— いずれも最先端の結果と一致または上回る。

ABSTRACT

Variance reduction techniques such as SPIDER/SARAH/STORM have been extensively studied to improve the convergence rates of stochastic non-convex optimization, which usually maintain and update a sequence of estimators for a single function across iterations. What if we need to track multiple functional mappings across iterations but only with access to stochastic samples of $\mathcal{O}(1)$ functional mappings at each iteration? There is an important application in solving an emerging family of coupled compositional optimization problems in the form of $\sum_{i=1}^m f_i(g_i(\mathbf{w}))$, where $g_i$ is accessible through a stochastic oracle. The key issue is to track and estimate a sequence of $\mathbf g(\mathbf{w})=(g_1(\mathbf{w}), \ldots, g_m(\mathbf{w}))$ across iterations, where $\mathbf g(\mathbf{w})$ has $m$ blocks and it is only allowed to probe $\mathcal{O}(1)$ blocks to attain their stochastic values and Jacobians. To improve the complexity for solving these problems, we propose a novel stochastic method named Multi-block-Single-probe Variance Reduced (MSVR) estimator to track the sequence of $\mathbf g(\mathbf{w})$. It is inspired by STORM but introduces a customized error correction term to alleviate the noise not only in stochastic samples for the selected blocks but also in those blocks that are not sampled. With the help of the MSVR estimator, we develop several algorithms for solving the aforementioned compositional problems with improved complexities across a spectrum of settings with non-convex/convex/strongly convex/Polyak-Łojasiewicz (PL) objectives. Our results improve upon prior ones in several aspects, including the order of sample complexities and dependence on the strong convexity parameter. Empirical studies on multi-task deep AUC maximization demonstrate the better performance of using the new estimator.

研究の動機と目的

• 計算またはメモリ制約のため、各反復で $g_i(\mathbf{w})$ の $\mathcal{O}(1)$ ブロックしかプローブできないという制約下で、結合的複合最適化問題に対処すること。
• 特に部分的ブロックアクセスが可能な状況下で、$\mathbf{g}(\mathbf{w}) = (g_1(\mathbf{w}), \dots, g_m(\mathbf{w}))$ の推定における分散を低減すること。
• 非凸問題において $\mathcal{O}(m\epsilon^{-4})$ の非最適な複雑度を示す既存手法（SOX）と比較して、サンプル複雑度を向上させること。
• サンプリング済みブロックだけでなく、未サンプリングブロックのノイズに対しても、カスタム誤差補正機構を用いて分散低減を実現する推定器を開発すること。
• 有限和および期待値ベースの定式化において、非凸、凸、強く凸な目的関数に対して、最先端のサンプル複雑度を達成すること。

提案手法

• 各ブロック $g_i(\mathbf{w})$ に対して反復間で維持される推定子 $\mathbf{u}_t^i$ を用いる、マルチブロック・シングルプローブの分散低減手法としての MSVR 推定器を提案。
• STORM フレームワークを拡張し、$ (1-\beta)(g_i(\mathbf{w}_t;\xi_t^i) - g_i(\mathbf{w}_{t-1};\xi_t^i)) $ の形をしたカスタム誤差補正項を導入。これにより、サンプリング済みおよび未サンプリングブロックの両方のノイズ低減が可能になる。
• 各反復で $\mathcal{O}(1)$ ブロックのみをプローブするが、誤差補正を伴う再帰的更新により、すべての $m$ ブロックを追跡するハイブリッドサンプリング戦略を採用。
• 有限和および期待値ベースの複合最適化問題に MSVR 推定器を統合し、収束速度の向上を実現。
• 収束と分散低減の両立を図るため、適応的ステップサイズと再帰的更新ルールを採用。
• MSVR 推定器をマルチタスク深層 AUC 最大化に適用し、SOX や標準 STORM 推定器を用いた変種と比較して、実験的に優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 各反復で $\mathcal{O}(1)$ ブロックしかサンプリングできない状況下で、複数の関数的マッピング $g_i(\mathbf{w})$ を反復間で追跡できる分散低減推定器を設計可能か？
• RQ2 カスタム誤差補正項を導入することで、結合的複合最適化における収束速度とサンプル複雑度が向上するか？
• RQ3 提案された MSVR 推定器は、非凸、凸、強く凸な目的関数に対して、SOX や既存の分散低減手法を上回るサンプル複雑度を達成できるか？
• RQ4 実世界の機械学習タスク（例：マルチタスク AUC 最大化）において、MSVR 推定器は既存手法と比較して実用的に優れた性能を示すか？
• RQ5 提案アルゴリズムの理論的サンプル複雑度は、異なる問題クラス（非凸、凸、強く凸）においてどのように変化するか？

主な発見

• MSVR 推定器は非凸目的関数に対して $\mathcal{O}(\epsilon^{-3})$ のサンプル複雑度を達成し、SOX の従来の $\mathcal{O}(m\epsilon^{-4})$ を上回る。
• 凸目的関数では $\mathcal{O}(\epsilon^{-2})$ のサンプル複雑度を達成し、最先端の結果と一致し、SOX の $\mathcal{O}(m\epsilon^{-3})$ よりも優れている。
• 強く凸な場合、$\mathcal{O}(\mu^{-1}\epsilon^{-1})$ のサンプル複雑度を達成し、既存の最良結果と一致し、SOX の $\mathcal{O}(m\mu^{-2}\epsilon^{-1})$ を上回る。
• マルチタスク AUC 最大化の実験では、MSVR-v1、MSVR-v2、MSVR-v3 が SOX や標準 STORM 推定器を用いた変種をすべて上回る性能を示した。
• アブレーションスタディにより、カスタム誤差補正項が不可欠であることが確認され、これを標準 STORM ベースの更新に置き換えると性能が劣化することが示された。
• バッチサイズ $B_1$ および $B_2$ を変化させた実験により、理論的収束トレンドが妥当であることが検証され、より大きなバッチサイズでは収束が速くなることが確認された。