[論文レビュー] Efficient First Order Methods for Linear Composite Regularizers

Andreas A. Argyriou, Charles A. Micchelli+3 more|arXiv (Cornell University)|Apr 7, 2011

Numerical methods in inverse problems参考文献 28被引用数 36

ひとこと要約

本稿では、重複グループLasso、融合Lasso、マルチタスク学習など、線形合成正則化子を有する最適化問題を解く一般的で効率的な一次順序法を提案する。この手法は、基本関数の近接作用素が既知であることを活用し、合成正則化子の近接作用素を固定点反復によって計算する。本手法は最適収束速度を達成し、重複グループLassoでは既存のO(1/T)手法を上回り、融合Lassoおよび木構造的グループLassoではO(1/T²)の収束速度を達成する。

ABSTRACT

A wide class of regularization problems in machine learning and statistics employ a regularization term which is obtained by composing a simple convex function ωwith a linear transformation. This setting includes Group Lasso methods, the Fused Lasso and other total variation methods, multi-task learning methods and many more. In this paper, we present a general approach for computing the proximity operator of this class of regularizers, under the assumption that the proximity operator of the function ωis known in advance. Our approach builds on a recent line of research on optimal first order optimization methods and uses fixed point iterations for numerically computing the proximity operator. It is more general than current approaches and, as we show with numerical simulations, computationally more efficient than available first order methods which do not achieve the optimal rate. In particular, our method outperforms state of the art O(1/T) methods for overlapping Group Lasso and matches optimal O(1/T^2) methods for the Fused Lasso and tree structured Group Lasso.

研究の動機と目的

• 機械学習および統計学で一般的に見られる線形合成正則化子を有する最適化問題を解く、一般的で計算的に効率的な手法の開発を目的とする。
• 閉形式の近接作用素が得られない場合でも、近接作用素の計算を可能にする固定点反復を用いて、近接作用素の適用範囲を閉形式の近接作用素が存在する場合に限らないように拡張することを目的とする。
• 融合Lasso や木構造的グループLasso などの広範な構造的スパarsity問題に対して、特にO(1/T²)の最適収束速度を達成することを目的とする。
• 重複グループLasso において、既存のO(1/T)手法よりも収束速度を向上させつつ、他の合成正則化子に対しても効率を維持することを目的とする。
• 線形変換による凸関数の合成を用いることで、マルチタスク学習、複数カーネル学習、辞書学習などの多様な問題に適用可能な統一的フレームワークを提供することを目的とする。

提案手法

• 本手法は、正則化子 g(x) = ω(Bx) の近接作用素を、関数 ω の近接作用素と線形変換 B から導出された固定点問題を解くことで計算する。
• ピカール型の固定点反復を用いて固定点方程式を数値的に解き、ω の近接作用素が閉形式で得られるか、有限計算で得られる場合には高速に収束する。
• f が強く滑らかである場合には、ネステロフの加速一次順序法と統合可能であり、特定の問題に対して最適なO(1/T²)収束が達成可能である。
• 本手法は一般性に富んでおり、問題固有の導出を必要とせず、ω の近接作用素が既知であれば、任意の合成正則化子に適用可能である。
• 計算コストが低く、大規模問題にまでスケーラブルな単純な反復スキームとして実装されており、高次元のB行列に対しても有効である。
• 数値的妥当性の検証には、近接作用素計算にピカール反復を、全体の最適化にネステロフの加速を用い、目的関数の減少と残差ノルムの変化を収束の指標として監視した。

実験結果

リサーチクエスチョン

• RQ1 ω の近接作用素のみが既知である状況で、g(x) = ω(Bx) の合成正則化子の近接作用素を一般かつ効率的に計算できる手法を開発できるか？
• RQ2 提案された固定点アプローチにより、融合Lasso や木構造的グループLasso などの構造的スパarsity問題に対して、最適なO(1/T²)収束速度が達成できるか？
• RQ3 重複グループLasso において、既存のO(1/T)手法と比較して、収束速度と反復回数の観点で本手法の性能はどのように異なるか？
• RQ4 加速手法がまだ確立されていない一般的な線形合成正則化問題に、本手法を適用可能か？
• RQ5 グラフ構造の接続行列を含む大規模問題において、本手法の経験的収束挙動はいかがな特性を示すか？

主な発見

• 提案手法は、重複グループLasso において、最先端のO(1/T)手法を上回り、数値実験でより速い収束を達成した。
• 融合Lasso および木構造的グループLasso において、既知の最適ソルバと同一の目的関数の軌道を示し、最適なO(1/T²)収束速度を達成したことが確認された。
• 一部のケース（例えば、グラフ構造の問題）では収束が単調でないが、依然として高い精度を達成しており、例としてd=100のケースで反復611回目における最適解からの距離は2.2×10⁻⁶であった。
• 本手法はスケーラブルに動作する：d=260の場合、平均反復回数は3639.2回、CPU時間は930.8秒（基本的なMATLAB実装）で測定された。
• 近接作用素計算に用いるピカール反復は高速に収束し、数回の反復で連続する反復間のℓ₂差が著しく減少した。
• 有効次元がO(d²)に達するような大規模問題に対しても、本手法は実用可能であることが、最大d=260ノードのグラフ構造データを用いた実験で示された。