[論文レビュー] A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning

Aleksandr Y. Aravkin, Damek Davis|arXiv (Cornell University)|Oct 4, 2016

Stochastic Gradient Optimization Techniques参考文献 8被引用数 12

ひとこと要約

本稿では、汚染されたデータセット上で効率的かつスケーラブルなロバスト機械学習を実現するため、非凸最適化のための新規な確率的プロキシマル・グラデント法であるSMARTを提案する。この手法は、綺麗なデータに対するロバストモデルのフィッティングと同時に、外れ値の検出と除去を実行する。ε-精度に到達するための勾配評価回数はO(n^{2/3}/ε)であり、フル・グラデント法よりもn^{1/3}速いため、計算コストが高く、外れ値を含むデータセットにおいても効率的なロバスト機械学習が可能になる。

ABSTRACT

In this paper, we show how to transform any optimization problem that arises from fitting a machine learning model into one that (1) detects and removes contaminated data from the training set while (2) simultaneously fitting the trimmed model on the uncontaminated data that remains. To solve the resulting nonconvex optimization problem, we introduce a fast stochastic proximal-gradient algorithm that incorporates prior knowledge through nonsmooth regularization. For datasets of size $n$, our approach requires $O(n^{2/3}/\varepsilon)$ gradient evaluations to reach $\varepsilon$-accuracy and, when a certain error bound holds, the complexity improves to $O(κn^{2/3}\log(1/\varepsilon))$. These rates are $n^{1/3}$ times better than those achieved by typical, full gradient methods.

研究の動機と目的

• モデルのフィッティング中に外れ値を同時に検出し、除去することで、汚染されたデータが存在する状況下でのロバスト機械学習の課題に取り組む。
• トリムド推定量に対して、従来の交互最小化法やフル・グラデント法の限界を克服する。これらは非凸問題に対しては遅いか、不適切である。
• 非滑らか正則化と非凸・非滑らかなトリムドM推定量の性質を扱える、スケーラブルな確率的最適化フレームワークを構築する。
• 完全に非凸な問題に対して、証明可能な収束性を達成する。これは、確率的最適化の文献における空白である。
• 従来の手法が計算コストの高さのために失敗する大規模な設定、例えばロバストPCAやホモグラフィ推定において、トリムド推定量の実用的応用を可能にする。

提案手法

• n個のデータポイントにおける最小h個の損失値の和を最小化する非凸・非滑らか最適化問題として、トリムドM推定量問題を定式化する。
• 非滑らか正則化を扱うために、勾配とプロキシマルステップのランダムサンプリングを利用する確率的プロキシマル・グラデント法（SMART）を導入する。
• ℓ1ノルムや核ノルムなどの非滑らか正則化項を用いて、事前知識（例：スパarsityやロバスト性）を組み込む。
• 目的関数に含まれる微分不能な順序統計量を扱うためにスムージング技術を活用し、勾配に基づく最適化を可能にする。
• 損失値に基づいてデータポイントを選択する動的サンプリング戦略を採用し、外れ値の影響を受ける可能性の高い高影響度のサンプルに焦点を当てる。
• やや弱い仮定のもとで、静止点への収束を証明し、完全に非凸かつ非滑らかな問題に対して、初めての証明可能な収束性を有する確率的アルゴリズムを確立する。

実験結果

リサーチクエスチョン

• RQ1 証明可能な収束性を有するように、非凸・非滑らかトリムドM推定量問題を解く確率的アルゴリズムを設計できるか？
• RQ2 ε-精度に到達するまでの勾配評価回数に関して、SMARTの収束速度はフル・グラデント法と比べてどの程度優れているか？
• RQ3 高次元かつ汚染されたデータセットにおいて、SMARTはロバストモデルのフィッティングと同時に、外れ値をどの程度効果的に検出し、除去できるか？
• RQ4 大規模な機械学習応用において、SMARTは従来のフル・グラデント法や交互最小化法よりもスケーラビリティに優れているか？
• RQ5 SMARTは、不正な対応関係を含む実世界のロバスト推定タスク、例えばロバストPCAやホモグラフィ推定に、効果的に応用可能か？

主な発見

• SMARTは、ε-精度に到達するための勾配評価複雑度がO(n^{2/3}/ε)であることを達成しており、これは一般的なフル・グラデント法よりもn^{1/3}速い。
• ある誤差バウンドのもとでは、複雑度がO(κn^{2/3}log(1/ε))に改善され、κは条件数である。これにより収束速度がさらに向上する。
• AおよびBデータセットにおけるロバストPCAにおいて、SMARTは外れ値を効果的に検出し、除去した。外れ値の有無はデータ構造やレーティングパターンに応じて変化する。
• ホモグラフィ推定において、SMARTは627個の初期マッチング点のうち、わずか10%の最良の対応関係を効果的に特定し、RANSACと同等の妥当なモザイクを生成したが、スケーラビリティに優れた。
• 特に大規模データセットにおいて、局所最適解に陥りにくく、1イテレーションあたりのコストを低減できるため、グリーディーな交互最小化法よりも優れた性能を示した。
• 合成データおよび実世界の応用において、SMARTは信頼性の高い外れ値検出とロバストモデルのフィッティングを実現した。高次元および組合せ的に複雑な問題に対しても有効である。