[論文レビュー] An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization

Richard H. Byrd, Jorge Nocedal+1 more|arXiv (Cornell University)|Sep 13, 2013

Sparse and Compressive Sensing Techniques参考文献 17被引用数 18

ひとこと要約

本稿では、凸L1正則化最適化のための不正確な逐次二次近似法を提案する。この手法は、ソフトスレッショーティングに基づく半スムーズ最適性尺度を用いて、部分問題の不正確性を制御する。この方法は、グローバル収束と局所的超線形収束を保証し、FISTA や直交錐ベースのソルバーを用いた内点最小化により、数値的結果が有効であることを示している。

ABSTRACT

We study a Newton-like method for the minimization of an objective function that is the sum of a smooth convex function and an l-1 regularization term. This method, which is sometimes referred to in the literature as a proximal Newton method, computes a step by minimizing a piecewise quadratic model of the objective function. In order to make this approach efficient in practice, it is imperative to perform this inner minimization inexactly. In this paper, we give inexactness conditions that guarantee global convergence and that can be used to control the local rate of convergence of the iteration. Our inexactness conditions are based on a semi-smooth function that represents a (continuous) measure of the optimality conditions of the problem, and that embodies the soft-thresholding iteration. We give careful consideration to the algorithm employed for the inner minimization, and report numerical results on two test sets originating in machine learning.

研究の動機と目的

• 滑らかな凸関数のℓ₁正則化による最小化のための、グローバルに収束する不正確なニュートン型手法の開発。
• 正確な最小化を必要としない、部分問題の解の品質を制御する不正確性基準の設計。
• 部分問題の最適性測度と不正確性許容誤差を関連付けることで、局所的超線形収束を保証すること。
• FISTA や直交錐ベース手法などの効率的な内点ソルバーを許容することで、実装の実用性を確保すること。
• Lee ら（2014）の基準と比較して、提案された不正確性基準が収束特性および実用的性能において優れているかどうかの検証。

提案手法

• 各反復点 xₖ において、qₖ(x) = f(xₖ) + g(xₖ)ᵀ(x−xₖ) + ½(x−xₖ)ᵀHₖ(x−xₖ) + μ‖x‖₁ という区分的二次モデルを構築する。
• 最適性残差を表す半スムーズ関数に基づいた不正確性基準を定義する。この関数は、ソフトスレッショーティング作用素から導出される。
• 内点部分問題 qₖ(x) は、FISTA（一次）または直交錐ベース手法（二次）を用いて不正確に最小化する。両者に、投影付きバックトラッキングラインサーチを適用する。
• 直交錐ベース手法は、符号および部分勾配条件を用いて活性集合を特定し、その後、準ニュートンまたはニュートン-CGステップを用いて活性部分空間上の滑らか部分問題を解く。
• 不正確性基準により、部分問題の解が最適性に十分に近いことが保証され、最小ノルム部分勾配のノルムで測定される。
• 探索方向 dₖ = x̂ − xₖ に沿って、元の目的関数 φ(x) の十分な減少を保証するため、投影付きバックトラッキングラインサーチを適用する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁正則化付き凸最適化のための不正確な逐次二次近似法は、部分問題の不正確な解法を用いてもグローバル収束を達成できるか？
• RQ2 部分問題の不正確性を定量的に制御することで、収束性と局所的収束速度を維持できるか？
• RQ3 Lee ら（2014）の基準と比較して、提案された不正確性基準は収束特性および実用的性能において優れているか？
• RQ4 FISTA よりも直交錐ベース手法のような二次手法が、このクラスの問題の部分問題解法において優れた性能を示せるか？
• RQ5 解の近傍で自然に単位ステップ長が受け入れられるか？これは高速な局所的収束を示唆する。

主な発見

• 提案された不正確性基準により、ℓ₁正則化問題の解への反復列のグローバル収束が保証される。
• この手法は局所的超線形収束を示し、不正確性許容誤差パラメータを調整することで収束速度を制御可能である。
• 解の近傍でアルゴリズムは自然に単位ステップ長を受け入れるため、高速な局所的収束行動を示している。
• 機械学習のテストデータセットにおける数値結果から、直交錐ベース手法がFISTAよりも収束速度とロバスト性において優れていることが示された。
• Lee ら（2014）が提案した基準と比較して、本基準は部分問題の残差定義の問題や収束のロバスト性の欠如を回避でき、より効果的であることが示された。
• ヘッシアン行列が正確に計算できる場合と、準ニュートンHₖ近似を用いる場合の両方に対応可能であり、ヘッシアン・ベクトル積の計算が高コストな場合には、後者がより効率的である。