[논문 리뷰] Uniqueness of Tensor Decompositions with Applications to Polynomial Identifiability

Aditya Bhaskara, Moses Charikar외 1명|arXiv (Cornell University)|2013. 04. 30.

Tensor decomposition and applications참고 문헌 26인용 수 35

한 줄 요약

이 논문은 텐서 분해의 유일성에 관한 크루스칼의 정리의 강건한 형태를 제시하며, 텐서가 역다항식 오차에 의해 손상된 경우에도 저질량 텐서 분해가 여전히 유일하게 식별 가능하다는 것을 증명한다. 이 결과는 주로 토픽 모델과 HMM과 같은 잠재변수 모델에서 매개변수 식별의 다항식 샘플 복잡도를 가능하게 하며, 이전의 비퇴화 조건을 초월하여 더 가벼운 조건 하에서도 효율적인 학습 알고리즘을 가능하게 한다.

ABSTRACT

We give a robust version of the celebrated result of Kruskal on the uniqueness of tensor decompositions: we prove that given a tensor whose decomposition satisfies a robust form of Kruskal's rank condition, it is possible to approximately recover the decomposition if the tensor is known up to a sufficiently small (inverse polynomial) error. Kruskal's theorem has found many applications in proving the identifiability of parameters for various latent variable models and mixture models such as Hidden Markov models, topic models etc. Our robust version immediately implies identifiability using only polynomially many samples in many of these settings. This polynomial identifiability is an essential first step towards efficient learning algorithms for these models. Recently, algorithms based on tensor decompositions have been used to estimate the parameters of various hidden variable models efficiently in special cases as long as they satisfy certain "non-degeneracy" properties. Our methods give a way to go beyond this non-degeneracy barrier, and establish polynomial identifiability of the parameters under much milder conditions. Given the importance of Kruskal's theorem in the tensor literature, we expect that this robust version will have several applications beyond the settings we explore in this work.

연구 동기 및 목표

• 역다항식 오차 하에서 텐서 분해의 크루스칼 유일성 정리의 강건한 형태를 확립한다.
• 이전 방법이 비퇴화 조건을 필요로 했던 잠재변수 모델에서 매개변수 식별의 다항식 샘플 복잡도를 가능하게 한다.
• 다항식 수의 샘플을 사용하여 경험적 모멘트 텐서로부터 텐서 성분을 정확히 복구하는 알고리즘을 개발한다.
• 관측 차원이 은닉 상태 수보다 작은 경우(n < R)인 음성 및 영상 응용 분야에서 흔한 상황에서도 텐서 분해 방법의 적용 범위를 확장한다.
• 토피크 모델, HMM, 가우시안 혼합 모델과 같은 모델에서 더 약한 구조적 가정 하에서도 효율적인 학습 알고리즘의 이론적 기초를 제공한다.

제안 방법

• 소규모 편향 하에서도 텐서 분해의 안정성을 보장하는 크루스칼 랭크 조건의 강건한 형태를 도입한다.
• [HK13]에서 제안한 새로운 알고리즘 기법을 사용하여 공분산 행렬의 최소 특이값을 추정함으로써 신호 강도 파라미터 σ에 대해 역다항식 정확도를 달성한다.
• 정리 5.6을 적용하여 근사적으로 알려진 텐서로부터 저질량 성분(행렬 A, B, C)과 가중치 {w_r}을 복구한다.
• R개의 벡터 μ_i − Mom_1이 (R−1)-차원 부분공간에 놓여 있음을 활용하여 두 번째 모멘트 행렬의 경험적 특이값을 통해 σ를 추정한다.
• 두 단계 알고리즘을 설계한다: 먼저 σ를 역다항식 정확도로 추정한 후, 강건한 유일성 조건을 활용해 전체 분해를 식별한다.
• 강건한 크루스칼 조건(k_A + k_B + k_C ≥ 2R + 2)을 만족할 경우, O(poly(n, R, 1/ε))개의 샘플로 경험 텐서로부터 분해가 유일하게 복구 가능하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 텐서 요소에 대해 역다항식 오차가 존재할 경우, 텐서 분해의 유일성이 보장될 수 있는가?
• RQ2 강건한 크루스칼 조건이 잠재변수 모델 학습에서 다항식 샘플 복잡도를 가능하게 하는가?
• RQ3 표준 비퇴화 조건을 위반하는 경우(n < R)에도 효율적인 텐서 분해 알고리즘을 설계할 수 있는가?
• RQ4 효율적으로 계산 가능한 파라미터를 사용해 텐서 분해의 유일성을 증명할 수 있는가?
• RQ5 강건한 유일성 결과를 일반 혼합 모델, 예를 들어 가우시안과 곱분포에까지 확장할 수 있는가?

주요 결과

• 강건한 크루스칼 유일성 정리가 증명되었다: 만약 텐서가 크루스칼 랭크 조건의 강건한 형태를 만족한다면, 그 저질량 분해는 역다항식 오차 내에서 손상된 버전으로부터도 유일하게 복구 가능하다.
• 강건한 유일성 결과는 크루스칼 원래 정리가 사용된 모든 모델에서 다항식 식별 가능성을 암시하며, 이는 토픽 모델, HMM, 가우시안 혼합 모델을 포함한다.
• 제안된 알고리즘은 시간 복잡도가 n^{Oδ(R²)}(nτ/γ)^{Oδ(1)}이며, σ와 성분에 대해 역다항식 정확도로 분해를 복구한다.
• 이 방법은 관측 차원 n이 은닉 상태 수 R을 초과하는 경우에도 다항식 샘플 수로 효율적인 학습을 가능하게 하며, 이는 이전에 표준 가정 하에서는 비가능시된 영역이다.
• 이 작업은 강건한 크루스칼 랭크 조건이 식별 가능성과 효율적 학습을 위한 충분조건임을 입증하며, 비퇴화 조건(예: n ≥ R)이 필요 없음을 보여준다.
• 결과적으로 이 연구는 이전에 요구되었던 것보다 훨씬 더 가벼운 구조적 가정 하에서도 잠재변수 모델에 대한 효율적 학습 알고리즘의 가능성을 열어 놓는다.