[論文レビュー] Convergence of LCA Flows to (C)LASSO Solutions

Ping Tang|arXiv (Cornell University)|Mar 4, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用数 4

ひとこと要約

本稿は、一般化されたLaSalle不変性原理を用いて、局所的競争的アルゴリズム（LCA）の流れが（C）LASSO問題—非負制約付きLASSO—の解へ収束することを厳密に確立する。LCAの軌道が最適な目的関数値に収束し、解の一意性が保たれる場合には、正確な最適解に収束することを示し、非可逆的かつ非径数的有界でない活性化関数を用いた先行研究におけるギャップを解消する。

ABSTRACT

This paper establishes several convergence results about flows of the dynamical system LCA (Locally Competitive Algorithm) to the mixed $\ell_2$-$\ell_1$ minimization problem LASSO and the constrained version, called CLASSO here, where the parameters are required to be non-negative. (C)LASSO problems are closely related to various important applications including efficient coding, image recognition and image reconstruction. That the solution of (C)LASSO can be determined by LCA allows the former to be solved in novel ways such as through a physical realization of analog circuits or on non-von Neumann computers. As discussed in the paper, previous works that show convergence of LCA to LASSO are incomplete, and do not consider CLASSO. The main contributions of this paper are a particular generalization of LaSalle's invariance principle and its application to rigorously establish LCA's convergence to (C)LASSO.

研究の動機と目的

• LCAの流れが非負制約付き（C）LASSO解へ収束することを厳密に確立すること。
• 特に非可逆的および非径数的有界でない活性化関数を用いる場合のLCA収束証明における先行研究のギャップを解消すること。
• LCAの非滑らかで非径数的有界でない動的システムを扱えるよう、LaSalleの不変性原理を一般化すること。
• アナログ回路やスパikingニューラルネットワーク回路による（C）LASSOソルバーの物理的かつ非フォン・ノイマン実装の理論的基盤を提供すること。

提案手法

• 非滑らかで非径数的有界でない動的システムにおけるLCAの流れの収束を分析するため、LaSalleの不変性原理の新しい一般化を考案する。
• LCAの目的関数が軌道に沿って非増加的であり、下から有界であることから、その時間微分がゼロに収束することを活用する。
• 状態ベクトルu(t)とアクティブ部分集合a(t)の動的挙動を区別し、一般化された勾配を用いて部分微分の性質を特徴付ける。
• 目的関数の一般化された勾配を用いて、アクティブ変数の微分のノルムをバインドすることで、不変性原理の適用を可能にする。
• LCAにおける（C）LASSOに用いられる非可逆的かつ非有界な活性化関数を、従来の研究が厳密に分析できなかった点を処理する。
• システムパラメータにやや弱い仮定を置くことで、目的関数値および状態軌道の両方の理論的収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 活性化関数が非可逆的かつ径数的有界でない場合であっても、LCAの流れは（C）LASSO問題の最適解に収束するか？
• RQ2 非滑らかで非径数的有界でない動的システム（（C）LASSOに生じる）に対して、一般化されたLaSalleの不変性原理を定式化し、適用可能か？
• RQ3 LCAの状態軌道が（C）LASSO問題の唯一の最適解に収束する条件は何か？
• RQ4 LCAの収束証明が（C）LASSOの状況ではなぜ失敗するのか、そしてそれらの欠陥はどのように是正できるか？

主な発見

• 任意の初期条件に対して、（C）LASSO問題の目的関数値は、LCAの流れに沿って最適値に収束する。
• （C）LASSOの解が一意である場合、LCAの状態軌道はその唯一の最適解に収束する。
• LCAの活性化関数が非可逆的かつ非径数的有界であるという性質にもかかわらず、収束証明は有効である。
• 本稿は、Balavoine, Romberg, Rozellの先行研究における重大な欠陥を特定し、特にŁojasiewiczの不等式の使用および一般化された勾配を含む主要な不等式の妥当性について指摘する。
• 非径数的有界性および滑らかさの欠如の下でも収束を確立するため、本研究で開発された一般化されたLaSalleの不変性原理は不可欠である。
• 本研究の結果は、アナログ回路やスパikingニューラルネットワークによる（C）LASSOソルバー実装のための厳密な理論的基盤を提供し、エネルギー効率的で非フォン・ノイマン型の計算を可能にする。