[論文レビュー] The Ordered Weighted $\ell_1$ Norm: Atomic Formulation, Dual Norm, and Projections.

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Sep 15, 2014

Sparse and Compressive Sensing Techniques参考文献 36被引用数 13

ひとこと要約

本稿では、順序付き重み付き ℓ₁（OWL）ノルムのアトム形式を導出することで、アイヴァノフ正則化における条件付き勾配（フランク＝ウォルフ）法による効率的最適化と、ティホノフ正則化におけるプロキシマルスプリッティング法の実装を可能にする。主な貢献は、アトムノルムを活用することで、OWLに基づくスパース正則化の計算効率と理論的洞察を向上させる統一的な枠組みを提供することにある。

ABSTRACT

The ordered weighted $\ell_1$ norm (OWL) was recently proposed, with two different motivations: because of its good statistical properties as a sparsity promoting regularizer, and as generalization of the so-called {\it octagonal shrinkage and clustering algorithm for regression} (OSCAR). The OSCAR is a convex group-sparsity inducing regularizer, which does not require the prior specification of the group structure. Also recently, much interest has been raised by the atomic norm formulation of several regularizers, not only because it provides an new avenue for their theoretical characterization, but also because it is particularly well suited to a type of method known as {\it conditional gradient} (CG), or Frank-Wolfe, algorithm. In this paper, we derive the atomic formulation of the OWL and exploit this formulation to show how Tikhonov regularization schemes can be handled using state-of-the-art proximal splitting algorithms, while Ivanov regularization can be efficiently implemented via the Frank-Wolfe algorithm.

研究の動機と目的

• スパース正則化における理論的・計算的取り扱いの向上を目的として、順序付き重み付き ℓ₁（OWL）ノルムのアトムノルム形式を提供すること。
• 導出されたアトム形式を活用して、条件付き勾配（フランク＝ウォルフ）法によるアイヴァノフ正則化の効率的実装を可能にすること。
• OWLノルムを含むティホノフ正則化スキームにプロキシマルスプリッティング法の適用範囲を拡大すること。
• 共通のアトムフレームワークに基づくOWL正則化の統一的取り扱いを提供し、解釈可能性とアルゴリズム的効率を向上させること。

提案手法

• アトムの有限集合の凸包としてその単位球を特徴付けることで、OWLノルムのアトム形式を導出する。
• アトム表現を活用して、条件付き勾配法に適した形にOWL正則化最適化問題を再定式化する。
• アトム集合上の線形部分問題を繰り返し解くことで、アイヴァノフ正則化問題をフランク＝ウォルフ法で解く。
• アトム構造を活用して、計算を高速化するためのプロキシマルスプリッティングアルゴリズムを、Tikhonov正則化OWL問題に適応する。
• OWLノルム、OSCAR、グループスパース性の間の理論的関係を確立し、事前のグループ構造要件の不在に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 OWLノルムは、新たな最適化戦略を可能にするために、どのようにアトムノルム形式に表現できるか？
• RQ2 アイヴァノフ正則化OWL問題を解く際、アトム形式を用いることで得られる計算上の利点は何か？
• RQ3 アトム表現を介して、Tikhonov正則化OWL問題にプロキシマルスプリッティング法をどの程度適用できるか？
• RQ4 事前のグループ構造の指定が不要な状況において、OWLのアトム形式は、OSCARのような既存のグループスパース性手法とどのように関係するか？

主な発見

• OWLノルムは、その単位球が有限個のアトムの凸包であるというアトム形式を有し、これにより新たなアルゴリズム的手法が可能になる。
• アトム形式により、線形部分問題へのアクセスが可能となる条件付き勾配法を用いて、アイヴァノフ正則化OWL問題を効率的に解ける。
• アトム構造を活用することで、Tikhonov正則化OWL問題にプロキシマルスプリッティング法を効果的に適用でき、高速計算が可能になる。
• 導出されたアトムフレームワークは、OWLをOSCARおよびグループスパース性と結びつける包括的視点を提供し、事前のグループ構造指定の必要性を排除する。