[論文レビュー] An Incidence Geometry approach to Dictionary Learning

Meera Sitharam, Mohamad Tarifi+1 more|arXiv (Cornell University)|Feb 28, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用数 3

ひとこと要約

本稿は、Fitted Dictionary Learningのためのインシデント幾何学フレームワークを導入し、スパース表現を部分空間配置としてモデル化し、組合せ的剛性理論を用いて、有限で局所的に一意な辞書を生成するハイパーグラフを特徴付ける。主な貢献は、有限な解集合をもたらすために必要な十分条件を特定する剛性型定理であり、定数 $d$ および $s$ の下で $O(m)$ の証明可能な効率性を持つアルゴリズムを可能にする。

ABSTRACT

We study the Dictionary Learning (aka Sparse Coding) problem of obtaining a sparse representation of data points, by learning \emph{dictionary vectors} upon which the data points can be written as sparse linear combinations. We view this problem from a geometry perspective as the spanning set of a subspace arrangement, and focus on understanding the case when the underlying hypergraph of the subspace arrangement is specified. For this Fitted Dictionary Learning problem, we completely characterize the combinatorics of the associated subspace arrangements (i.e.\ their underlying hypergraphs). Specifically, a combinatorial rigidity-type theorem is proven for a type of geometric incidence system. The theorem characterizes the hypergraphs of subspace arrangements that generically yield (a) at least one dictionary (b) a locally unique dictionary (i.e.\ at most a finite number of isolated dictionaries) of the specified size. We are unaware of prior application of combinatorial rigidity techniques in the setting of Dictionary Learning, or even in machine learning. We also provide a systematic classification of problems related to Dictionary Learning together with various algorithms, their assumptions and performance.

研究の動機と目的

• インシデント幾何学と部分空間配置の観点から、Fitted Dictionary Learningを理論的に分析すること。
• スパース表現に対して有限で局所的に一意な辞書を保証するハイパーグラフの組合せ的構造を特徴づけること。
• 一般的な幾何的および組合せ的条件下で、証明可能な効率性を持つ辞書学習アルゴリズムを開発すること。
• 辞書学習関連の問題を分類し、アルゴリズム、仮定、性能を比較すること。
• データ点が一様にランダムに抽出された場合の辞書サイズの理論的下界を確立すること。

提案手法

• 部分空間配置の下位ハイパーグラフ $H$ を用いて、Fitted Dictionary Learning問題を非線形代数的系 $(H, X)(D)$ として定式化する。
• AsimowとRothのアプローチに従い、フレームワークの剛性行列を用いて線形化を行い、無限小剛性を分析する。
• WhiteとWhiteleyの組合せ的剛性理論を用いて、一般に有限な解をもたらすためにハイパーグラフ $H(S_{X,D})$ が満たすべき $(d-1,0)$-タイト性条件を導出する。
• エッジの重複度およびペブル移動の制約を満たすように、修正されたペブルゲームアルゴリズムを設計して、$(d-1,0)$-タイトハイパーグラフを構築する。
• まず基底集合 $X_0$ でピン留めされた代数系を解き、次にサイズ $d-1$ の $X_i$ で逐次的に解くことで、$s$-部分空間配置 $S_{X,D}$ を構築する。
• 各部分系 $(H_0, X_0)(D_0)$ および $(B_i, X_i)(D_i)$ を代数的系の解法により解き、その解を統合して全辞書 $D$ を得る。

実験結果

リサーチクエスチョン

• RQ1 部分空間配置におけるどのハイパーグラフ構造が、辞書学習問題に有限個の解を保証するか？
• RQ2 インシデント構造にどのような組合せ的条件が、スパース符号化における辞書の局所的一意性を保証するか？
• RQ3 幾何的剛性原理に基づいて、証明可能な効率性を持つ辞書学習アルゴリズムを構築できるか？
• RQ4 データが一般に抽出された場合、辞書のサイズはデータ点の数とスパースネスに対してどのように関係するか？
• RQ5 導出された組合せ的および幾何的制約下での辞書構築の計算複雑度はどの程度か？

主な発見

• 組合せ的剛性型定理が証明された：ハイパーグラフ $H(S_{X,D})$ が一般に有限個の辞書を生成するのは、$(d-1,0)$-タイトであるときかつそのときに限る。
• アルゴリズムは、$d$ および $s$ が定数のとき、$Oig(s^2(|V_0| + (d-s)) inom{|V_0| + (d-s)}{s}ig)$ 時間で下位ハイパーグラフを構築し、これは $O(m)$ に簡略化される。
• $s$-部分空間配置および辞書 $D$ の構築は、各ステップで定数サイズの代数系を解くことで達成され、総時間計算量は $O(m)$ である。
• 一般にピン留めされた場合のフルランク剛性行列の下で、各ピン留め部分系 $(H_0, X_0)(D_0)$ および $(B_i, X_i)(D_i)$ に対して解が一般に存在する。
• 構築ステップが独立しているため、各ステップでの解の選択が、有効でグローバルに整合性のある辞書 $D$ を保証する。
• フレームワークは、$(d-1,0)$-タイト性の必要性に基づき、データ点が一様にランダムに抽出された場合の辞書サイズの下界を提供する。