[論文レビュー] On the Size of the Online Kernel Sparsification Dictionary

Yi Sun, Faustino Gomez+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Adaptive Filtering Techniques参考文献 26被引用数 9

ひとこと要約

本稿は、共分散作用素の固有値と関連する新しい公式を用いて、オンラインカーネルスパース化における辞書のサイズを分析する。理論的条件下で、辞書のサイズがデータポイントの数に対して部分線形に増加することを証明し、その結果得られるカーネル線形回帰モデルの一貫性を保証する。

ABSTRACT

We analyze the size of the dictionary constructed from online kernel sparsification, using a novel formula that expresses the expected determinant of the kernel Gram matrix in terms of the eigenvalues of the covariance operator. Using this formula, we are able to connect the cardinality of the dictionary with the eigen-decay of the covariance operator. In particular, we show that under certain technical conditions, the size of the dictionary will always grow sub-linearly in the number of data points, and, as a consequence, the kernel linear regressor constructed from the resulting dictionary is consistent.

研究の動機と目的

• オンラインカーネルスパース化における辞書サイズの理論的挙動を理解すること。
• 辞書の濃度と共分散作用素の固有値の減衰特性との間の関係を確立すること。
• 特定の条件下で、辞書サイズが部分線形に増加することを証明すること。
• その結果得られる辞書から構築されたカーネル線形回帰モデルの一貫性を示すこと。
• メモリ使用量を制御可能なオンラインカーネル手法の理論的基盤を提供すること。

提案手法

• 共分散作用素の固有値を用いて、カーネル・グラム行列の期待値行列式を表す新しい解析的公式を導出する。
• この公式を用いて、オンラインカーネルスパース化における辞書の期待成長率を分析する。
• スペクトル理論を用いて、共分散作用素の固有値の減衰を辞書サイズのダイナミクスと関連付ける。
• 確率論的および漸近的解析を用いて、技術的仮定のもとで部分線形成長を確立する。
• 理論的成長限界を、結果得られるカーネル線形回帰モデルの一貫性に結びつける。
• 確率的行列理論およびカーネル手法のツールを活用して、主な結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 オンラインカーネルスパース化における辞書のサイズは、データポイントの数に伴いどのように変化するか？
• RQ2 共分散作用素の固有値の減衰と辞書サイズの間にはどのような関係があるか？
• RQ3 どのような条件下で、辞書サイズが部分線形に増加するか？
• RQ4 その辞書構築から得られるカーネル線形回帰モデルの一貫性を理論的に保証できるか？
• RQ5 カーネル・グラム行列の期待値行列式は、辞書の濃度とどのように関係するか？

主な発見

• 指定された技術的条件下で、オンラインカーネルスパース化における辞書サイズは、データポイント数に対して部分線形に増加する。
• 部分線形増加は、共分散作用素の固有値の減衰率と直接的に関連している。
• その辞書から構築されたカーネル線形回帰モデルは一貫性を示し、データ量が増加するにつれて最適解に収束する。
• 理論的分析は、カーネル・グラム行列の期待値行列式と共分散作用素の固有値を結びつける新しい公式に基づいている。
• 結果として、理論的保証のもとでメモリ効率の良いオンラインカーネル学習の厳密な基盤が提供される。
• 研究結果は、性能を維持しつつ辞書サイズを制限できるオンラインカーネルスパース化の実用的効率を検証する。