[논문 리뷰] Discovery of Latent Factors in High-dimensional Data Using Tensor Methods

Furong Huang|arXiv (Cornell University)|2016. 06. 10.

Tensor decomposition and applications참고 문헌 133인용 수 3

한 줄 요약

이 학위논문은 고차원 데이터에서 잠재 요인을 발견하기 위해 텐서 분해 방법을 제안하며, 스펙트럴 기법을 활용해 비지도 학습을 수행한다. 잠재 트리 모델, 커뮤니티 탐지, 신경과학 분야(예: 공간적 유전자 발현 데이터로부터 세포 유형 탐지)에서 전역 수렴성과 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Unsupervised learning aims at the discovery of hidden structure that drives the observations in the real world. It is essential for success in modern machine learning. Latent variable models are versatile in unsupervised learning and have applications in almost every domain. Training latent variable models is challenging due to the non-convexity of the likelihood objective. An alternative method is based on the spectral decomposition of low order moment tensors. This versatile framework is guaranteed to estimate the correct model consistently. My thesis spans both theoretical analysis of tensor decomposition framework and practical implementation of various applications. This thesis presents theoretical results on convergence to globally optimal solution of tensor decomposition using the stochastic gradient descent, despite non-convexity of the objective. This is the first work that gives global convergence guarantees for the stochastic gradient descent on non-convex functions with exponentially many local minima and saddle points. This thesis also presents large-scale deployment of spectral methods carried out on various platforms. Dimensionality reduction techniques such as random projection are incorporated for a highly parallel and scalable tensor decomposition algorithm. We obtain a gain in both accuracies and in running times by several orders of magnitude compared to the state-of-art variational methods. To solve real world problems, more advanced models and learning algorithms are proposed. This thesis discusses generalization of LDA model to mixed membership stochastic block model for learning user communities in social network, convolutional dictionary model for learning word-sequence embeddings, hierarchical tensor decomposition and latent tree structure model for learning disease hierarchy, and spatial point process mixture model for detecting cell types in neuroscience.

연구 동기 및 목표

• 기존 방법이 복잡성과 확장성 문제로 인해 실패하는 고차원 데이터에서 숨겨진 구조를 밝혀내는 도전 과제를 해결한다.
• 잠재 트리 모델 및 커뮤니티 탐지와 같은 복잡한 모델에서 비지도 학습을 위한 확장 가능하고 증명 가능하게 수렴하는 텐서 기반 알고리즘을 개발한다.
• 공간 포인트 프로세스 혼합 모델과 텐서 분해를 활용해 신경과학 데이터에서 세포 유형과 유전자 발현 프로파일을 정확하게 탐지할 수 있도록 한다.
• 표준 행렬 분해를 넘어서 계층적이고 불변 구조를 가진 데이터를 다룰 수 있도록 스펙트럴 기법을 확장한다.
• 회전 또는 스케일링과 같은 그룹 불변성을 가진 모델을 학습하기 위한 통합 프레임워크를 제공한다.

제안 방법

• 고차원 데이터에서 잠재 요인을 추출하기 위해 텐서 분해를 핵심 프레임워크로 활용하여 전역 최적화 및 수렴 보장을 달성한다.
• 고차원 모멘트를 사용해 잠재 트리 모델 및 다중 시야 모델에 스펙트럴 기법을 적용하여 기반 구조를 식별한다.
• 계산 비용을 줄이고 대규모 데이터셋에 스케일링하기 위해 텐서 스케칭과 분산 계산을 활용한다.
• 신경과학 데이터를 위한 공간 포인트 프로세스 혼합 모델에서 변분 추론과 텐서 분해를 통합한다.
• 생물학적 현실성 향상을 위해 대칭적이고 유전자별로 지정된 딜리클레 사전을 활용한다.
• 실제 적용을 가능하게 하기 위해 텐서 기반 토픽 모델링 및 커뮤니티 탐지에 대해 효율적인 C++ 및 CUDA 구현을 개발한다.

실험 결과

연구 질문

• RQ1 텐서 분해 방법은 복잡한 고차원 데이터에서 증명 가능하게 수렴하는 방식으로 잠재 요인을 신뢰성 있고 효율적으로 밝혀낼 수 있는가?
• RQ2 의료 및 신경과학 분야에서 기존 방법에 비해 텐서 기반 방법은 잠재 변수 모델 학습 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 텐서 방법은 그래픽 모델이나 신경망에서 관찰되는 바와 같이 계층적이고 불변 구조를 얼마나 잘 다룰 수 있는가?
• RQ4 텐서 분해를 활용해 뇌 조직의 공간적 및 유전자 발현 패턴을 모델링하여 새로운 세포 유형을 탐지할 수 있는가?
• RQ5 대규모 텐서 학습에 대해 텐서 스케칭 및 분산 프레임워크를 사용할 때의 계산 및 통계적 트레이드오프는 무엇인가?

주요 결과

• 제안된 텐서 분해 프레임워크는 전역 수렴성을 확보하고 잠재 트리 모델 및 커뮤니티 탐지에서 최신 기술 수준의 방법을 능가한다.
• 신경과학 분야에서, 단일 세포 RNA-seq 데이터에 비해 유전자 발현 프로파일 예측 정확도가 향상되어 기존 방법보다 뛰어난 성능을 입증한다.
• 세포 유형 비율에 대한 비균일 딜리클레 사전과 유전자별 사전을 사용함으로써 생물학적 현실성과 모델의 정확도가 향상된다.
• 분산 및 스케칭 기반 텐서 알고리즘은 계산 비용을 크게 줄이며 정확도를 유지함으로써 대규모 데이터셋에 대한 확장 가능한 배포를 가능하게 한다.
• 앨런 브레인 애틀라스의 인 사이투 하이브리드제이션 데이터를 활용해 독립적인 신경세포 유형과 그들의 공간 분포를 성공적으로 탐지하였다.
• 텐서 기반 방법은 텍스트, 이미지, 사회망, 헬스케어 분석 등 다양한 응용 분야에서 효과적임을 입증하여 그 유연성과 강건성을 확인하였다.