[論文レビュー] A Stochastic Majorize-Minimize Subspace Algorithm for Online Penalized Least Squares Estimation

Émilie Chouzenoux, Pesquet Jean-Christophe|arXiv (Cornell University)|Dec 29, 2015

Advanced Adaptive Filtering Techniques被引用数 5

ひとこと要約

本稿では、データ適合項の確率的近似と部分空間加速を活用して収束を保証する、オンライン正則化最小二乗推定のための確率的主要化最小化部分空間アルゴリズムを提案する。この手法は、弱い仮定のもとで真の解へのほとんど確実な収束を達成し、適応フィルタ同定およびスパース信号回復の応用において優れた性能を示す。

ABSTRACT

Stochastic approximation techniques play an important role in solving many problems encountered in machine learning or adaptive signal processing. In these contexts, the statistics of the data are often unknown a priori or their direct computation is too intensive, and they have thus to be estimated online from the observed signals. For batch optimization of an objective function being the sum of a data fidelity term and a penalization (e.g. a sparsity promoting function), Majorize-Minimize (MM) methods have recently attracted much interest since they are fast, highly flexible, and effective in ensuring convergence. The goal of this paper is to show how these methods can be successfully extended to the case when the data fidelity term corresponds to a least squares criterion and the cost function is replaced by a sequence of stochastic approximations of it. In this context, we propose an online version of an MM subspace algorithm and we study its convergence by using suitable probabilistic tools. Simulation results illustrate the good practical performance of the proposed algorithm associated with a memory gradient subspace, when applied to both non-adaptive and adaptive filter identification problems.

研究の動機と目的

• 完全なデータ統計が不明または計算不能なオンライン設定において、主要化最小化（MM）最適化手法を拡張すること。
• 全次元のMM手法に伴う計算負荷を軽減するため、更新を低次元部分空間に制限すること。
• データおよび正則化関数に関する弱い仮定のもとで、アルゴリズムのほとんど確実な収束を保証すること。
• フィルタ同定やスパース回復などの、適応信号処理および機械学習問題における実用的効果を示すこと。

提案手法

• ストリーミングデータの統計が未知である状況に対応するため、期待最小二乗基準の確率的近似を用いる。
• 各反復で、ヘッセ行列の近似を用いて目的関数を上回るサロゲート関数を構築し、降下性と収束性を保証する。
• 部分空間加速により、現在の勾配とメモリーベクトル（例えば、反復間の差分）の組み合わせに更新を制限し、計算コストを低減する。
• 収束速度と安定性を高めるために、メモリーグラディエント部分空間を採用する。
• 確率的道具を用いて収束を証明し、勾配ノルムのほとんど確実な可 summability とオストロフスキーの定理を用いる。
• 微分可能で非凸な正則化関数の広いクラスに適用可能である柔軟性を有する。

実験結果

リサーチクエスチョン

• RQ1 完全なデータ統計が不明または計算不能なオンラインで確率的な設定において、MM手法を効果的に拡張できるか？
• RQ2 計算コストを低減しつつ、収束性を維持するため、部分空間加速を確率的MMアルゴリズムに統合する方法は何か？
• RQ3 このようなオンラインMM部分空間アルゴリズムの収束に対して、どのような理論的保証を確立できるか？
• RQ4 不確実性下でも、非適応的および適応的信号処理タスクにおいて、アルゴリズムはロバストな性能を維持するか？
• RQ5 高次元問題において、メモリーグラディエント部分空間は収束速度と安定性にどのように影響するか？

主な発見

• 提案手法は、標準的な仮定のもとで、真の目的関数の臨界点への反復列のほとんど確実な収束を保証する。
• 勾配ノルムの系列はほとんど確実に可summableであり、反復列が最終的になかなか変化しなくなることを示唆する。
• 正則化関数が凸である場合、アルゴリズムはほとんど確実に一意のグローバル最小値に収束し、グローバル最適性が保証される。
• シミュレーション結果から、非適応的および適応的フィルタ同定タスクにおいて強力な実用的性能が示された。
• メモリーグラディエント部分空間は、高次元設定における収束速度と安定性を顕著に向上させる。
• データ統計が部分的にしか分かっていない、またはオンラインで推定されている状況でも、アルゴリズムはロバストで効率的である。