[論文レビュー] The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning

Konstantinos Slavakis, Isao Yamada|arXiv (Cornell University)|Aug 31, 2010

Sparse and Compressive Sensing Techniques参考文献 48被引用数 8

ひとこと要約

本稿では、時間変動環境におけるオンライン学習の性能を向上させるために、準非拡大写像の族によって制約される適応的投影勾配法を提案する。これらの写像を通じて動的で時間変動する事前知識を活用することで、収束保証と優れた追跡性能を備えた低複雑性なスパースシステム同定が実現される。最先端手法と比較して優れた性能を示す。

ABSTRACT

Many online, i.e., time-adaptive, inverse problems in signal processing and machine learning fall under the wide umbrella of the asymptotic minimization of a sequence of non-negative, convex, and continuous functions. To incorporate a-priori knowledge into the design, the asymptotic minimization task is usually constrained on a fixed closed convex set, which is dictated by the available a-priori information. To increase versatility towards the usage of the available information, the present manuscript extends the Adaptive Projected Subgradient Method (APSM) by introducing an algorithmic scheme which incorporates a-priori knowledge in the design via a sequence of strongly attracting quasi-nonexpansive mappings in a real Hilbert space. In such a way, the benefits offered to online learning tasks by the proposed method unfold in two ways: 1) the rich class of quasi-nonexpansive mappings provides a plethora of ways to cast a-priori knowledge, and 2) by introducing a sequence of such mappings, the proposed scheme is able to capture the time-varying nature of a-priori information. The convergence properties of the algorithm are studied, several special cases of the method with wide applicability are shown, and the potential of the proposed scheme is demonstrated by considering an increasingly important, nowadays, online sparse system/signal recovery task.

研究の動機と目的

• 時間変動する事前知識をオンライン学習タスクに統合する課題に対処すること。
• 固定された凸制約を準非拡大写像の列に置き換えることで、適応的投影勾配法（APSM）を拡張すること。
• 時間変動するスパースシステム同定のような動的環境において、効率的かつリアルタイムな適応を可能にすること。
• 収束性と追跡性能を維持しつつ、計算複雑性を低減すること。
• 本手法の有効性を、現実世界の応用が可能なオンラインスパース信号回復タスクにおいて示すこと。

提案手法

• 本手法は、実ヒルバート空間における時間変動する事前知識を表現するために、強く吸引的な準非拡大写像の列を用いる。
• 各反復において、アルゴリズムは現在の写像 $ \Phi_n $ で定義される集合への射影作用素 $ T_{\Phi_n}^{(\nu_n)} $ を適用する。
• 更新則は、部分勾配ステップと現在の準非拡大写像の像への射影を組み合わせており、固定点への収束を保証する。
• 正確な $ \ell_1 $-球への射影を、反復的近似 $ T_{\Phi_n}^{(\nu_n)} $ に置き換えることで、計算複雑性を $ \mathcal{O}(qL + L\log L) $ から $ \mathcal{O}(qL) $ に削減する。
• 損失関数 $ \Theta_n(x) = \mathcal{L}(x(\bm{a}_n) - d_n) $ を用いて、オンラインスパースシステム同定に適用する。ここで $ \mathcal{L} $ は任意の凸損失関数である。
• 収束解析は実ヒルバート空間上で行われ、写像列およびステップサイズの弱い仮定のもとで理論的保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 準非拡大写像に基づく時間変動制約構造は、動的環境におけるオンライン学習性能を向上させ得るか？
• RQ2 提案手法は、スパースシステム同定において収束速度、追跡精度、計算複雑性のバランスをどのようにとるか？
• RQ3 正確な $ \ell_1 $-球射影を反復的近似作用素に置き換えることで、性能と複雑性にどのような影響を与えるか？
• RQ4 突然のシステム変化（例：反復501で非ゼロ係数が5から8に変化）を追跡する能力において、本手法はRZ-LMS、LASSO、OCCD-TNWLといった既存のオンラインスパース学習アルゴリズムと比較してどうなるか？
• RQ5 本フレームワークは、スパース回復を越えた他のオンライン学習タスクへ一般化可能か？

主な発見

• 提案手法は、正確な射影に基づくバージョンと同等の追跡性能を達成しつつ、顕著に計算複雑性を低減した。
• 正確な $ \ell_1 $-球射影に必要なソーティング処理を回避することで、計算コストを $ \mathcal{O}(qL) $ に削減した。
• 定常状態（時間不変）の場合、正確な射影バージョンと同等の性能を達成しており、近似の有効性を確認した。
• 時間変動状態では、スパース構造の急激な変化（例：反復501で非ゼロ係数が5から8に変化）を低誤差フロアで効果的に追跡できた。
• 忘却係数0.96のOCCD-TNWLよりも追跡能力に優れ、より高い忘却係数を用いたRZ-LMSよりも低い誤差フロアを維持した。
• ガウスノイズ下でも、静的および動的両方のスパースシステム同定タスクにおいて、本手法は頑健性と適応性を示した。