[論文レビュー] Stochastic DCA for minimizing a large sum of DC functions with application to Multi-class Logistic Regression

Hoai An Le Thi, Hoai Minh Le+2 more|arXiv (Cornell University)|Nov 10, 2019

Stochastic Gradient Optimization Techniques参考文献 51被引用数 32

ひとこと要約

本論文は、大規模なDC関数の和を最小化する確率的かつ不正確な確率的DCアルゴリズム（SDCAとISDCA）を提案し、それらが臨界点へ収束することを証明し、マルチクラスロジスティック回帰におけるグループ変数選択へ適用して、実験結果が高い性能を示している。

ABSTRACT

We consider the large sum of DC (Difference of Convex) functions minimization problem which appear in several different areas, especially in stochastic optimization and machine learning. Two DCA (DC Algorithm) based algorithms are proposed: stochastic DCA and inexact stochastic DCA. We prove that the convergence of both algorithms to a critical point is guaranteed with probability one. Furthermore, we develop our stochastic DCA for solving an important problem in multi-task learning, namely group variables selection in multi class logistic regression. The corresponding stochastic DCA is very inexpensive, all computations are explicit. Numerical experiments on several benchmark datasets and synthetic datasets illustrate the efficiency of our algorithms and their superiority over existing methods, with respect to classification accuracy, sparsity of solution as well as running time.

研究の動機と目的

• 大規模なDC関数の和 F(x) = (1/n) sum_i F_i(x) を最小化する大規模問題に対処する。
• 各反復でDC成分の一部のみを更新して計算量を削減するようSDCAとISDCAを開発する。
• SDCAとISDCAの両方に対して、ほぼすべてのサンプルで臨界点へ収束するという収束保証を確立する。
• 提案手法をマルチクラスロジスティック回帰のグループ変数選択へ適用し、実データおよび人工データセットで効率性を示す。

提案手法

• 各 F_i を F_i = g_i - h_i というDC関数として定式化し、F = G - H（G = (1/n) sum g_i, H = (1/n) sum h_i）として総和をまとめる。
• 各反復で random subset の h_i の下界(小幅下界)のみを更新し、凸部分問題(8)を解くことでSDCAを提案する。
• 凸部分問題を、v^l ∈ ∂H(x^l) に対して min_x { G(x) - <v^l, x> } と定義する。
• 穏和条件の下でSDCAが臨界点へほぼすべての試行で収束することを示し、∑ ||x^{l}-x^{l-1}||^2 < ∞ を確立し、ρ(h_i) > 0 のとき ||x^{l}-x^{l-1}|| → 0 をほぼすべての確率で成立する。
• ε-部分勾配と ε-解の計算を許容することでISDCAを導入し、∑ ε^l < ∞ を満たすことで収束性を維持する。
• η_α を用いて非凸ペナルティを ℓ_{q,0} ノルムに近似させたマルチクラスロジスティック回帰のグループ変数選択の文脈でSDCA/ISDCAを適用し、得られたDC問題を解く。

実験結果

リサーチクエスチョン

• RQ1 SDCAは各反復で成分の一部のみを更新することで、大規模なDC関数の和を効率的に最小化できるか。
• RQ2 SDCAとその不正確な変種ISDCAは、大規模和DC目的関数の臨界点へほぼすべての確率で収束するか。
• RQ3 非凸ℓ_{q,0}型正則化を用いたマルチクラスロジスティック回帰のグループ変数選択へSDCAをどのように適用できるか。
• RQ4 大規模データセットでの精度、 sparsity、実行時間の観点で、提案手法は既存手法とどう比較されるか。

主な発見

• SDCAとISDCAの両方が、大規模和DC目的関数の臨界点へほぼすべての確率で収束する。
• h_i 成分の一部のみを更新する場合でもSDCAは収束保証を維持し、不正確な計算（ISDCA）の場合でも同様である。
• 確率的アプローチは、非凸ペナルティを用いたマルチクラスロジスティック回帰のグループ変数選択の効率的でスケーラブルな最適化を可能にする。
• 大規模な実データおよび人工データセットにおける数値実験は、関連手法と比較して競争力のある分類精度、より高いスパース性、および実行時間の短縮を示す。