[論文レビュー] Discovery of Latent Factors in High-dimensional Data Using Tensor Methods

Furong Huang|arXiv (Cornell University)|Jun 10, 2016

Tensor decomposition and applications参考文献 133被引用数 3

ひとこと要約

本学位論文は、スプライストテクニックを活用した非教師あり学習を用いて、高次元データにおける隠れ要因を発見するためのテンソル分解手法を提案する。この手法は、潜在的木構造モデル、コミュニティ検出、神経科学分野（空間的遺伝子発現データからの細胞タイプ同定）への応用において、グローバル収束性と最先端の性能を示している。

ABSTRACT

Unsupervised learning aims at the discovery of hidden structure that drives the observations in the real world. It is essential for success in modern machine learning. Latent variable models are versatile in unsupervised learning and have applications in almost every domain. Training latent variable models is challenging due to the non-convexity of the likelihood objective. An alternative method is based on the spectral decomposition of low order moment tensors. This versatile framework is guaranteed to estimate the correct model consistently. My thesis spans both theoretical analysis of tensor decomposition framework and practical implementation of various applications. This thesis presents theoretical results on convergence to globally optimal solution of tensor decomposition using the stochastic gradient descent, despite non-convexity of the objective. This is the first work that gives global convergence guarantees for the stochastic gradient descent on non-convex functions with exponentially many local minima and saddle points. This thesis also presents large-scale deployment of spectral methods carried out on various platforms. Dimensionality reduction techniques such as random projection are incorporated for a highly parallel and scalable tensor decomposition algorithm. We obtain a gain in both accuracies and in running times by several orders of magnitude compared to the state-of-art variational methods. To solve real world problems, more advanced models and learning algorithms are proposed. This thesis discusses generalization of LDA model to mixed membership stochastic block model for learning user communities in social network, convolutional dictionary model for learning word-sequence embeddings, hierarchical tensor decomposition and latent tree structure model for learning disease hierarchy, and spatial point process mixture model for detecting cell types in neuroscience.

研究の動機と目的

• 従来の手法が複雑さとスケーラビリティの制約により失敗する高次元データにおける隠れた構造を解明する課題に対処すること。
• 潜在的木構造モデルやコミュニティ検出のような複雑なモデルにおける、スケーラブルで証明可能な収束性を有するテンソルベースのアルゴリズムを開発すること。
• 空間点過程混合モデルとテンソル分解を用いて、神経科学分野における細胞タイプと遺伝子発現プロファイルの正確な同定を可能にすること。
• 標準的な行列分解を超えて、データ内の階層的および不変構造（例：グラフモデルやニューラルネットワークにおけるもの）を扱うためのスペクトル手法の拡張。
• 回転やスケーリングなどのグループ不変性を持つモデルを学習するための統一的フレームワークを、テンソル分解を用いて提供すること。

提案手法

• 高次元データから隠れ要因を抽出するためのコアフレームワークとしてテンソル分解を活用し、グローバル最適化と収束保証を可能にする。
• 高次モーメントを用いて、潜在的木構造モデルやマルチビュー・モデルに対してスペクトル手法を適用し、内在する構造を同定する。
• 計算コストを低減し、大規模データセットへのスケーリングを実現するため、テンソルスケッチと分散計算を活用する。
• 神経科学データのための空間点過程混合モデルにおいて、変分推論とテンソル分解を統合する。
• 細胞タイプ割合と遺伝子発現の生物学的妥当性を向上させるために、対称的かつ遺伝子固有のディリクレ事前分布を活用する。
• テンソルベースのトピックモデリングおよびコミュニティ検出のための効率的なC++およびCUDA実装を開発し、実世界での展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解手法は、証明可能な収束性を備えながら、高次元で複雑なデータから隠れ要因を信頼性高くかつ効率的に同定できるか？
• RQ2 医療・神経科学分野において、既存の手法と比較して、テンソルベースの手法は潜在変数モデルの学習精度をどの程度向上できるか？
• RQ3 テンソル手法は、グラフモデルやニューラルネットワークに見られるような、階層的および不変構造をどの程度適切に処理できるか？
• RQ4 テンソル分解を用いて、脳組織の空間的および遺伝子発現パターンをモデル化し、新規の神経細胞タイプを同定できるか？
• RQ5 大規模テンソル学習において、テンソルスケッチと分散フレームワークを用いる際の計算的・統計的トレードオフは何か？

主な発見

• 提案されたテンソル分解フレームワークはグローバル収束性を達成し、潜在的木構造モデルとコミュニティ検出の分野で最先端の手法を上回る性能を示した。
• 神経科学分野において、単一細胞RNA-seqデータと比較して、遺伝子発現プロファイルの予測精度が向上し、既存手法を上回る優れた性能を示した。
• 細胞タイプ割合に非一様ディリクレ事前分布を、遺伝子固有の事前分布を用いることで、生物学的現実性とモデルの忠実度が向上した。
• 分散処理およびスケッチベースのテンソルアルゴリズムは、計算コストを顕著に低減しながらも、精度を維持し、大規模データセットへのスケーラブルな展開を可能にした。
• アレイン脳アトラスのin situハイブリダイゼーションデータを用いて、明確に区別できる神経細胞タイプとその空間的分布を、フレームワークが的確に同定した。
• テキスト、画像、ソーシャルネットワーク、医療アナリティクスなど、幅広い分野への応用において、テンソルベースの手法が有効であることが示され、その汎用性と頑健性が確認された。