[論文レビュー] Structure from Local Optima: Learning Subspace Juntas via Higher Order PCA

Santosh Vempala, Ying Xiao|arXiv (Cornell University)|Aug 16, 2011

Blind Source Separation Techniques参考文献 31被引用数 23

ひとこと要約

本稿では、高次モーメントの局所最適解を活用して、k次元の'関連'部分空間と(n−k)次元の'ノイズ'部分空間という2つの直交部分空間を回復する、一般化された独立成分分析（ICA）のための新規アルゴリズムを提案する。この手法により、未知のk次元部分空間に依存するk-部分空間ジャンパ（0-1関数）の効率的学習が可能となり、実行時間T(k,ε) + poly(n)を達成する。ここでTはk次元成分にのみ依存する。これは、ガウス分布や全積構造の仮定に依存しない、ICAおよび学習理論の大幅な拡張である。

ABSTRACT

We present a generalization of the well-known problem of learning k-juntas in R^n, and a novel tensor algorithm for unraveling the structure of high-dimensional distributions. Our algorithm can be viewed as a higher-order extension of Principal Component Analysis (PCA). Our motivating problem is learning a labeling function in R^n, which is determined by an unknown k-dimensional subspace. This problem of learning a k-subspace junta is a common generalization of learning a k-junta (a function of k coordinates in R^n) and learning intersections of k halfspaces. In this context, we introduce an irrelevant noisy attributes model where the distribution over the "relevant" k-dimensional subspace is independent of the distribution over the (n-k)-dimensional "irrelevant" subspace orthogonal to it. We give a spectral tensor algorithm which identifies the relevant subspace, and thereby learns k-subspace juntas under some additional assumptions. We do this by exploiting the structure of local optima of higher moment tensors over the unit sphere; PCA finds the global optima of the second moment tensor (covariance matrix). Our main result is that when the distribution in the irrelevant (n-k)-dimensional subspace is any Gaussian, the complexity of our algorithm is T(k,ε) + \poly(n), where T is the complexity of learning the concept in k dimensions, and the polynomial is a function of the k-dimensional concept class being learned. This substantially generalizes existing results on learning low-dimensional concepts.

研究の動機と目的

• データが補完的部分空間上の分布の積から生成される場合に、完全な独立性ではなく、2つの直交部分空間を回復する一般化ICAを実現すること。
• 分布的仮定を弱くして、未知のk次元部分空間に依存するk-部分空間ジャンパを学習する課題に取り組むこと。
• ガウス性や全積構造への依存を避ける手法を開発し、標準的なPCAやICAの枠組みを超えて拡張すること。
• モーメントに基づく最適化とテンソル法を用いて、高次元空間における複雑なラベル関数の多項式時間アルゴリズムを提供すること。

提案手法

• アルゴリズムは、単位球面上の高次モーメント関数（例：4次モーメント以上）の局所最適解を用いて、関連するk次元部分空間を同定する。
• 2次勾配降下法をテンソル上に適用し、モーメントに基づく方向の効率的計算を可能にする。
• 有界な分布とガウス型のモーメント成長を区別するため、シュワーツ＝ツィッペルにインspiredした近似多項式恒等式テストを用いる。
• 凸幾何学と確率論的ツールを活用して、関連分布のモーメントとガウス分布のモーメントとの分離を分析する。
• 標本を回復した部分空間に射影し、複雑さT(k,ε)の仮説クラスを用いてk次元でラベル関数を学習する。
• 有界分布の場合、モーメントの有界性とチェビシェフの不等式を用いて、必要な標本量を推定し、高い確率で部分空間の回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 データが2つの直交部分空間上の分布の積から生成される一般化ICA設定において、高次モーメントの局所最適解を用いて成分部分空間を回復できるか？
• RQ2 関連分布が有界またはサブガウス的尾を持つ場合でも、完全な独立性がなくても、このアプローチがk-部分空間ジャンパを効率的に学習できるか？
• RQ3 モーメントに基づく最適化を用いてk次元部分空間を回復する際の標本量と実行時間の複雑さは何か？また、kとεにどのように依存するか？
• RQ4 固有値が縮退している場合やデータが非ガウス分布の場合、この手法はPCAや標準ICAと比べてどのように性能を発揮するか？
• RQ5 関連部分空間とノイズ部分空間に分布を分解することで、このアルゴリズムを、半空間の積集合などの複雑な関数の学習に拡張できるか？

主な発見

• アルゴリズムは、高次モーメントの局所最適解を用いてk次元の関連部分空間を回復でき、実行時間はT(k,ε) + poly(n)であり、Tはk次元成分にのみ依存する。
• 関連部分空間における有界分布に対して、O(g(k)²)個のモーメントを用いてΩ(1)のギャップを達成し、部分空間の回復を可能にする。
• 関連分布が半径g(k)の球に含まれる場合、O(n^{O(g(k)²)})個の標本が必要となり、総合的な実行時間はT(k,ε) + C_{k,ε}n^{O(g(k)²)}となる。
• k次元球の4次モーメントは、ガウス分布のそれとは定数η = Ω(1)のギャップをもって分離可能であり、部分空間検出が安定に可能である。
• 関連部分空間における単位球の凸部分集合に対して、凸包近似を用いて時間(k/ε)^{O(k)}で関数を学習可能である。
• この手法はICAを一般化し、k-ジャンパやk個の半空間の積集合の効率的学習を可能にし、非ガウス的または退化した場合におけるPCAや標準ICAの限界を克服する。