[論文レビュー] The Ordered Weighted $\ell_1$ Norm: Atomic Formulation, Projections, and Algorithms

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Sep 15, 2014

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、順序付き重み付き ℓ₁（OWL）ノルムのアトム表現と双対ノルムを導入し、射影および近接作用素の効率的計算を可能にする。原子分解を用いた条件付き勾配法と効率的な射影スキームを提案し、実際のOWL正則化回帰問題において、加速付き射影勾配法が条件付き勾配法を上回ることを示している。

ABSTRACT

The ordered weighted $\ell_1$ norm (OWL) was recently proposed, with two different motivations: its good statistical properties as a sparsity promoting regularizer; the fact that it generalizes the so-called {\it octagonal shrinkage and clustering algorithm for regression} (OSCAR), which has the ability to cluster/group regression variables that are highly correlated. This paper contains several contributions to the study and application of OWL regularization: the derivation of the atomic formulation of the OWL norm; the derivation of the dual of the OWL norm, based on its atomic formulation; a new and simpler derivation of the proximity operator of the OWL norm; an efficient scheme to compute the Euclidean projection onto an OWL ball; the instantiation of the conditional gradient (CG, also known as Frank-Wolfe) algorithm for linear regression problems under OWL regularization; the instantiation of accelerated projected gradient algorithms for the same class of problems. Finally, a set of experiments give evidence that accelerated projected gradient algorithms are considerably faster than CG, for the class of problems considered.

研究の動機と目的

• OWLノルムのアトム表現を導出することで、条件付き勾配法による効率的最適化を可能にする。
• OWLノルム球へのユークリッド射影に対する効率的アルゴリズムを開発し、これは射影勾配法において不可欠である。
• OWL正則化線形回帰における条件付き勾配法と加速付き射影勾配法の性能を比較する。
• 近接作用素のより単純な導出を提供し、等単調回帰とPAVアルゴリズムとの関連を明らかにする。
• OWL正則化下での条件付き勾配法に対して理論的収束保証を確立する。

提案手法

• 符号付き置換行列と基底ベクトルを用いてOWLノルムのアトム表現を導出し、アトムの凸包として表現する。
• アトム表現を用いてOWLノルムの双対ノルムを計算し、双対性に基づく解析と最適化を可能にする。
• OWLノルム球へのユークリッド射影を計算するための根の探索スキームを提案し、計算量は主にソーティングに依存する。
• アトム表現を用いて線形計画サブプロブレムを効率的に解くことで、条件付き勾配（フランク＝ウォルフ）アルゴリズムを実装する。
• 提案されたOWL射影を用いて加速付き射影勾配法を実装し、ラインサーチまたは固定ステップサイズを用いる。
• OWL近接作用素と等単調回帰の関連を活用し、簡略化され効率的な計算手法を導出する。

実験結果

リサーチクエスチョン

• RQ1 OWLノルムはどのようにアトム分解に基づいて表現可能であり、効率的最適化を可能にするか？
• RQ2 OWLノルムの双対ノルムは何か？また、そのアトム構造とはどのように関連するか？
• RQ3 OWL近接作用素はより単純に導出可能か？また、等単調回帰とはどのような関係にあるか？
• RQ4 OWLノルム球へのユークリッド射影はどの程度効率的に計算可能か？
• RQ5 OWL正則化回帰において、条件付き勾配法と加速付き射影勾配法の性能はどのように比較されるか？

主な発見

• OWLノルムのアトム表現により、条件付き勾配法における線形サブプロブレムの計算が効率的に行える。
• OWLノルムの双対ノルムは、そのアトム構造に基づいて導出され、双対性に基づく解析を支援する。
• 等単調回帰とPAVアルゴリズムを介して、OWL近接作用素のより単純な導出が提供され、等価性が明確にされる。
• OWLノルム球へのユークリッド射影を計算するための効率的な根の探索スキームが提案され、計算量は主にソーティングに依存する。
• 実験により、同じ問題クラスにおいて加速付き射影勾配法が条件付き勾配法を著しく上回ることが示された。
• サブプロブレムの正確な解法を仮定した下で、条件付き勾配法の理論的収束性が明示的な定数を用いて確立された。