[論文レビュー] Divide-and-Conquer Learning by Anchoring a Conical Hull

Tianyi Zhou, Jeff Bilmes+1 more|arXiv (Cornell University)|Jun 22, 2014

Face and Expression Recognition参考文献 29被引用数 8

ひとこと要約

本稿では、GMM、HMM、LDA、NMF、部分空間クラスタリングなどの複雑な機械学習問題を、データポイントからk個の極端なレイヤー（アンカーポイント）を特定する錐型包の問題に還元する、画期的な分割統治型アンカリング（DCA）手法を提案する。データを低次元のランダム超平面に射影し、コサイン値に基づく反復なし2次元ソルバーを用いて部分問題を解くことで、グローバル解を高速かつ安定して得られる。EM法やサンプリング法よりも一般化性能に優れ、解釈可能でノイズに強いモデルを構築可能であり、推論速度は最大100倍以上に向上する。

ABSTRACT

We reduce a broad class of machine learning problems, usually addressed by EM or sampling, to the problem of finding the $k$ extremal rays spanning the conical hull of a data point set. These $k$ "anchors" lead to a global solution and a more interpretable model that can even outperform EM and sampling on generalization error. To find the $k$ anchors, we propose a novel divide-and-conquer learning scheme "DCA" that distributes the problem to $\mathcal O(k\log k)$ same-type sub-problems on different low-D random hyperplanes, each can be solved by any solver. For the 2D sub-problem, we present a non-iterative solver that only needs to compute an array of cosine values and its max/min entries. DCA also provides a faster subroutine for other methods to check whether a point is covered in a conical hull, which improves algorithm design in multiple dimensions and brings significant speedup to learning. We apply our method to GMM, HMM, LDA, NMF and subspace clustering, then show its competitive performance and scalability over other methods on rich datasets.

研究の動機と目的

• EM法やサンプリング法に見られる局所最適解や初期値への感受性といった、潜在変数モデルにおける限界を解消すること。
• 高次元またはノイズが多い状況下で、モーメントベース手法の高い分散と不安定性を克服すること。
• GMM、HMM、LDA、NMF、部分空間クラスタリングなどのモデルに対して、グローバルで解釈可能かつスケーラブルな学習フレームワークを構築すること。
• ランダム射影とコサインに基づくアンカリングを用いて、低次元部分空間における錐型包問題を非反復的に高速に解ける仕組みを提供すること。
• 点が錐型包に含まれるかどうかをチェックする再利用可能なサブルーチンを提供し、より広範なアルゴリズムパイプラインの効率を高めること。

提案手法

• データポイントからk個の極端なレイヤー（アンカーポイント）を特定することで、幅広い機械学習問題を最小錐型包問題に還元する。
• X = F Y_A と書ける一般化された分離可能性仮定を導入し、Y_Aがアンカーポイントを構成するデータポイントの部分集合であることを保証することで、モデルの同定可能性を達成する。
• DCAを提案する。この手法は、データをO(k log k)個のランダム低次元超平面に射影し、部分問題を生成する分割統治スキームである。
• 各低次元部分問題は、任意の標準ソルバーを用いて解き、ランダム射影における錐型包構造の幾何学的保存性を活用する。
• 2次元における点ベクトルのコサイン値を計算し、最大値・最小値を特定することでアンカーポイントを特定する反復なし2次元ソルバーを設計する。
• GMM、HMM、LDA、NMF、SCなどの既存モデルにDCAフレームワークを統合し、反復的ソルバーに代えて高速でグローバルなアンカリング手順を組み込む。

実験結果

リサーチクエスチョン

• RQ1 潜在変数モデルの学習を、EM法やサンプリング法の局所最適解を避けるグローバルな錐型包アンカリング問題に再定式化できるか？
• RQ2 ランダム射影が、低次元部分空間におけるアンカーポイントの回復に十分に錐型包構造を保存できるか？
• RQ3 すべてのk個のアンカーポイントを高い確率で回復するために必要な最小の低次元部分問題の数は何か？
• RQ4 コサイン計算に基づく反復なしソルバーは、2次元アンカリングにおいて反復的またはサンプリングベースの手法を速度と精度の両面で上回れるか？
• RQ5 DCAは、錐型包カバレッジチェックの高速サブルーチンとして、他の学習アルゴリズムの性能向上にどの程度寄与できるか？

主な発見

• DCAは、GMM、HMM、LDA、NMF、部分空間クラスタリングなど複数のモデルにおいて、従来のEM法やサンプリング法と比較して最大100倍以上も高速な推論を達成している。
• 提案された反復なし2次元ソルバーは、コサイン値の配列を計算し、その最大値・最小値を特定するだけでよく、計算量を極限まで削減し、超高速なアンカリングを実現している。
• 一般化誤差において、スペクトル法や行列因子分解法を常に上回り、EM法やサンプリング法の性能に匹敵またはそれを上回っている。
• 実際のデータポイントをアンカーポイントとして使用することで、ブラックボックス要因分解よりも解釈可能で、より良い説明を提供するモデルが得られる。
• DCAフレームワークは、点が錐型包に含まれるかどうかをチェックする再利用可能なサブルーチンを提供し、他のソルバーの実行速度を顕著に向上させている。
• 理論的分析により、DCAはO(k log k)個のランダム部分問題を用いることで、高確率ですべてのk個のアンカーポイントを回復可能であり、スケーラビリティとロバストネスを保証している。