[논문 리뷰] Smoothed Analysis of Tensor Decompositions

Aditya Bhaskara, Moses Charikar외 2명|arXiv (Cornell University)|2013. 11. 14.

Tensor decomposition and applications참고 문헌 27인용 수 11

한 줄 요약

이 논문은 랭크가 차원에 대해 다항식인 고도로 과잉완성된 영역(overcomplete regime)에서 텐서 분해의 안정성을 분석하기 위해 스무스드 분석 프레임워크를 도입한다. 이 프레임워크는 벡터의 변형된 텐서 곱이 강건한 특이값을 가지며 선형 독립성을 유지함을 증명한다. 주요 기여는 다항식 시간 알고리즘을 통해 역다항식 오차 내성(robust error tolerance)을 달성함으로써, 차원 수보다 많은 성분을 가진 다중 시야 모델과 축에 맞춰진 가우시안 혼합 모델의 안정적 학습을 가능하게 한다.

ABSTRACT

Low rank tensor decompositions are a powerful tool for learning generative models, and uniqueness results give them a significant advantage over matrix decomposition methods. However, tensors pose significant algorithmic challenges and tensors analogs of much of the matrix algebra toolkit are unlikely to exist because of hardness results. Efficient decomposition in the overcomplete case (where rank exceeds dimension) is particularly challenging. We introduce a smoothed analysis model for studying these questions and develop an efficient algorithm for tensor decomposition in the highly overcomplete case (rank polynomial in the dimension). In this setting, we show that our algorithm is robust to inverse polynomial error -- a crucial property for applications in learning since we are only allowed a polynomial number of samples. While algorithms are known for exact tensor decomposition in some overcomplete settings, our main contribution is in analyzing their stability in the framework of smoothed analysis. Our main technical contribution is to show that tensor products of perturbed vectors are linearly independent in a robust sense (i.e. the associated matrix has singular values that are at least an inverse polynomial). This key result paves the way for applying tensor methods to learning problems in the smoothed setting. In particular, we use it to obtain results for learning multi-view models and mixtures of axis-aligned Gaussians where there are many more "components" than dimensions. The assumption here is that the model is not adversarially chosen, formalized by a perturbation of model parameters. We believe this an appealing way to analyze realistic instances of learning problems, since this framework allows us to overcome many of the usual limitations of using tensor methods.

연구 동기 및 목표

• 랭크가 차원을 초과하는 과잉완성 케이스에서 기존 알고리즘이 실패하는 상황에서 안정적인 텐서 분해를 해결하기 위해.
• 텐서 분해의 악성 최악의 경우 난이도를 극복하기 위해 현실적인 매개변수 편향 모델을 체계화하기 위해.
• 샘플 제한된 학습 응용에 핵심적인 역할을 하는 역다항식 오차 내성에 대해 강건성을 유지하는 효율적인 알고리즘 개발을 위해.
• 텐서 방법을 사용하여 축에 맞춰진 가우시안 혼합 모델과 같은 복잡한 생성 모델을 이론적으로 보장할 수 있도록 하기 위해.
• 스무스드 분석과 카트리-라오 곱의 조건수 경계를 활용하여, 전체 랭크 경우를 초월한 텐서 분해의 적용 범위를 확장하기 위해.

제안 방법

• 모델 매개변수가 작은 무작위 편향을 받는 스무스드 분석 모델을 도입하여 현실적인 데이터 생성을 모델링하기 위해.
• 편향된 벡터의 텐서 곱이 역다항식으로 하한이 설정된 특이값을 가지며 선형 독립성을 확보함으로써 강건성을 보장함을 증명하기 위해.
• 크루스칼 랭크와 τ-강건한 k-랭크를 사용해 편향된 상황에서의 텐서 분해 안정성을 특성화하기 위해.
• 복잡도를 줄이면서도 분해 구조를 유지하기 위해, 카트리-라오 곱을 통해 고차원 텐서를 3차 텐서로 평탄화하기 위해.
• 고차원 모멘트에서 유도된 연립방정식을 풀어 혼합 성분의 평균과 가중치를 복원하기 위해, 카트리-라오 곱 행렬의 조건수를 활용하기 위해.
• 편향된 성분에서 유도된 잘 조절된 설계 행렬의 특성에 기반해, 평탄화된 고차원 모멘트를 포함하는 선형 시스템을 풀어 분산을 복원하기 위해.

실험 결과

연구 질문

• RQ1 랭크가 차원에 대해 다항식인 고도로 과잉완성된 경우에서 텐서 분해가 안정적이고 효율적으로 수행될 수 있는가?
• RQ2 스무스드 분석이 텐서 분해에서 최악의 경우 난이도를 극복하는 데 실용적인 프레임워크가 될 수 있는가?
• RQ3 강건한 텐서 분해를 통해 차원 수보다 많은 성분을 가진 축에 맞춰진 가우시안 혼합 모델을 학습할 수 있는가?
• RQ4 텐서 곱이 분해에 대해 잘 조절된 상태를 유지하기 위해 편향된 벡터에 대해 필요한 최소 조건은 무엇인가?
• RQ5 역다항식 오차가 존재하는 상황에서 고차원 모멘트는 어떻게 사용되어 혼합 모델의 매개변수(평균, 가중치, 분산)를 복원할 수 있는가?

주요 결과

• 알고리즘은 고도로 과잉완성 영역에서 역다항식 오차 내성 달성하여 샘플 제한된 학습 응용에 적합함을 입증함.
• 편향된 벡터의 텐서 곱이 역다항식으로 하한이 설정된 특이값을 가지며 선형 독립성을 유지함을 보여주어 강건성을 확보함.
• 편향된 성분에서 형성된 카트리-라오 곱 행렬의 조건수는 차원과 편향 매개변수에 대해 최소한 역다항식 수준이므로, 안정적인 선형 시스템 해법이 가능함.
• 고차원 모멘트 텐서와 선형 시스템 해법을 활용해 축에 맞춰진 가우시안 혼합 모델의 평균과 혼합 가중치를 역다항식 오차 내에서 복원할 수 있음.
• 평탄화된 4차 모멘트에서 유도된 잘 조절된 선형 시스템을 풀어 분산을 복원하며, 오차는 설계 행렬의 조건수로 제한됨.
• 이 프레임워크는 다중 시야 모델과 랭크가 차원에 대해 다항식인 축에 맞춰진 가우시안 혼합 모델의 학습을 가능하게 하여, 기존의 전체 랭크 제한을 초월함.