[論文レビュー] $L_p$-nested symmetric distributions

Fabian H. Sinz, Matthias Bethge|arXiv (Cornell University)|Aug 4, 2010

Blind Source Separation Techniques参考文献 31被引用数 19

ひとこと要約

本稿では、$L_p$-ノルムを階層的にネストすることで、$L_p$-球対称分布および楕円的な断面分布の取り扱いやすい一般化として、$L_p$-ネスト対称分布を導入する。この手法により、正確なサンプリング、閉形式の正規化定数、非線形ICAにおけるネストド・ラジアル・ファクタリゼーション（NRF）アルゴリズムを用いた応用が可能となり、従来のガウス分布や$L_p$-球対称仮定を超えたロバストなモデリングと独立成分分析が可能になる。

ABSTRACT

Tractable generalizations of the Gaussian distribution play an important role for the analysis of high-dimensional data. One very general super-class of Normal distributions is the class of $ν$-spherical distributions whose random variables can be represented as the product $\x = r\cdot \u$ of a uniformly distribution random variable $\u$ on the $1$-level set of a positively homogeneous function $ν$ and arbitrary positive radial random variable $r$. Prominent subclasses of $ν$-spherical distributions are spherically symmetric distributions ($ν(\x)=\|\x\|_2$) which have been further generalized to the class of $L_p$-spherically symmetric distributions ($ν(\x)=\|\x\|_p$). Both of these classes contain the Gaussian as a special case. In general, however, $ν$-spherical distributions are computationally intractable since, for instance, the normalization constant or fast sampling algorithms are unknown for an arbitrary $ν$. In this paper we introduce a new subclass of $ν$-spherical distributions by choosing $ν$ to be a nested cascade of $L_p$-norms. This class is still computationally tractable, but includes all the aforementioned subclasses as a special case. We derive a general expression for $L_p$-nested symmetric distributions as well as the uniform distribution on the $L_p$-nested unit sphere, including an explicit expression for the normalization constant. We state several general properties of $L_p$-nested symmetric distributions, investigate its marginals, maximum likelihood fitting and discuss its tight links to well known machine learning methods such as Independent Component Analysis (ICA), Independent Subspace Analysis (ISA) and mixed norm regularizers. Finally, we derive a fast and exact sampling algorithm for arbitrary $L_p$-nested symmetric distributions, and introduce the Nested Radial Factorization algorithm (NRF), which is a form of non-linear ICA.

研究の動機と目的

• 高次元データモデリングのための、$L_p$-球対称分布および楕円的断面分布の計算的に取り扱いやすい一般化を構築すること。
• $\nu$-球対称分布における正規化定数の不計算性とサンプリングの困難さを、ネストされた$L_p$-ノルム構造の導入によって解決すること。
• 明示的な正規化定数のおかげで、正確な尤度に基づく推論とモデル比較を可能にすること。
• ネストド・ラジアル・ファクタリゼーション（NRF）アルゴリズムを導入することで、非線形ICA手法を拡張し、源の分離を実現すること。
• ICA、ISA、ミックスド・ノルム正則化子といった既存のモデルを、単一の対称分布フレームワークの下で統一的かつ一般化すること。

提案手法

• $L_p$-ノルムの階層的カスケードとして$\nu(\bm{x})$を定義し、変数の部分集合上でネスト構造を形成することで、$L_p$-ネスト対称分布を提案する。
• 一般化されたガンマ関数の性質と再帰的積分を用いて、$L_p$-ネスト単位球の同時密度および正規化定数を導出する。
• 階層的構造に基づくラジアルファクタリゼーションに依存する、高速かつ正確なサンプリングアルゴリズムを開発し、分布からの効率的なサンプル生成を可能にする。
• 線形に混合された$L_p$-ネスト源を統計的に独立した成分に分離できる非線形ICA手法として、ネストド・ラジアル・ファクタリゼーション（NRF）アルゴリズムを導入する。
• 尤度最適化のための測度変換を導出するために、NRF変換のヤコビアン行列式を用い、シルベスターの行列式恒等式を活用する。
• フレームワークを応用し、$L_p$-ネストモデルと独立部分空間分析（ISA）、ミックスド・ノルム正則化、ロバストベイズ推論との関連を確立する。

実験結果

リサーチクエスチョン

• RQ1 正規化定数の計算可能性を保ちつつ、ガウス分布、$L_p$-球対称分布、楕円的断面分布を特別ケースとして含むような、$\nu$-球対称分布の一般化は可能か？
• RQ2 複雑で非球対称な等高線を持つ、$\nu$-球対称分布のクラスに対して、閉形式の正規化定数を導出することは可能か？
• RQ3 ガウス分布や$L_p$-球対称分布の範囲を超えて、広範な対称分布クラスに対して正確なサンプリングを実現するにはどうすればよいか？
• RQ4 $L_p$-ネスト対称分布の構造は、階層的な構造を持つ源を分離する非線形ICAアルゴリズムを支えることができるか？
• RQ5 $L_p$-ネスト対称分布とICA、ISA、ミックスド・ノルム正則化といった既存手法との理論的関連は何か？

主な発見

• $L_p$-ネスト対称分布のクラスは、ガウス分布、$L_p$-球対称分布、楕円的断面分布を特別ケースとして含み、統一的なフレームワークを提供する。
• $L_p$-ネスト単位球の正規化定数に対して明示的かつ閉形式の表現が得られ、直接的な尤度計算とモデル比較が可能になる。
• 階層的ラジアル変換に基づく、任意の$L_p$-ネスト対称分布に対して高速かつ正確なサンプリングアルゴリズムが開発された。
• ネストド・ラジアル・ファクタリゼーション（NRF）アルゴリズムが非線形ICA手法として導入され、線形に混合された$L_p$-ネストデータから独立した源を効果的に回復した。
• NRF変換のヤコビアン行列式はシルベスターの行列式公式を用いて導出され、尤度に基づく最適化と理論的解析を可能にする。
• フレームワークにより、$L_p$-ネスト対称モデルとICA、ISA、ミックスド・ノルム正則化といった既存手法との密接な関連が確立され、理論的かつ実用的意義が示された。