[논문 리뷰] Orthogonalized ALS: A Theoretically Principled Tensor Decomposition Algorithm for Practical Use

Vatsal Sharan, Gregory Valiant|arXiv (Cornell University)|2017. 03. 06.

Tensor decomposition and applications참고 문헌 44인용 수 11

한 줄 요약

이 논문은 표준 대체 최소 제곱법(Alternating Least Squares, ALS) 알고리즘의 이론적으로 타당한 수정 버전인 수직화된 ALS(Orthogonalized ALS, Orth-ALS)를 제안한다. 최적화 과정 중에 요인 추정치를 주기적으로 수직화함으로써, 표준 비일관성 가정 하에 진짜 낮은 질서의 텐서 요인을 증명 가능하게 복원할 수 있으며, 동시에 표준 ALS의 계산 효율성과 확장성을 유지한다. 이는 합성 데이터와 실제 세계 데이터에서 표준 ALS 및 SVD로 초기화된 ALS보다 훨씬 뛰어난 정확도로 요인을 복원하며, 3차 공출현 텐서로부터의 단어 임베딩을 포함하여, 유사성 및 어법 작업에서 최대 30% 향상된 성능을 달성한다.

ABSTRACT

The popular Alternating Least Squares (ALS) algorithm for tensor decomposition is efficient and easy to implement, but often converges to poor local optima---particularly when the weights of the factors are non-uniform. We propose a modification of the ALS approach that is as efficient as standard ALS, but provably recovers the true factors with random initialization under standard incoherence assumptions on the factors of the tensor. We demonstrate the significant practical superiority of our approach over traditional ALS for a variety of tasks on synthetic data---including tensor factorization on exact, noisy and over-complete tensors, as well as tensor completion---and for computing word embeddings from a third-order word tri-occurrence tensor.

연구 동기 및 목표

• 비균일한 요인 가중치 하에서 표준 대체 최소 제곱법(Alternating Least Squares, ALS)의 열악한 수렴성과 국소 최적해 문제를 해결하기 위해.
• 계산 효율성이 뛰어난 ALS와 정확한 요인 복원을 위한 강력한 이론적 보장을 결합한 실용적인 텐서 분해 알고리즘을 개발하기 위해.
• 특히 희소하고 대규모 설정에서 노이즈와 과다 완성도에 대한 강건성을 향상시키기 위해.
• 3차 공출현 텐서에서 유도된 단어 임베딩의 품질을 향상시키기 위해, 기반 분해 과정을 개선하기 위해.

제안 방법

• 최적화 루프 중에 요인 추정치를 주기적으로 수직화하여, 여러 요인이 동일한 진짜 성분으로 수렴하는 것을 방지한다.
• 각 요인 갱신 후 수직화 절차를 적용함으로써 표준 ALS 업데이트 단계를 수정하여, 추정된 요소들이 상호 수직이 되도록 보장한다.
• 비일관성 가정과 스펙트럼 분석을 기반으로 한 이론적 프레임워크를 활용하여, 수직화가 열악한 국소 최적해로의 수렴을 방지함을 증명한다.
• 잔차 상관관계에 따라 오차가 제곱적으로 감소함을 보여주는 파wr 이터레이션 스타일 분석을 사용하여 요인 및 가중치 추정 오차를 경계한다.
• 정확한 및 노이즈가 있는 텐서 분해, 텐서 완성 및 단어 임베딩 학습 작업에 이 알고리즘을 적용한다.
• 요인 추정치의 수직성을 유지하기 위해 정규화 및 투영 단계를 사용하여 안정적이고 정확한 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 표준 비일관성 가정 하에서, 단순한 ALS 수정 — 주기적 수직화 — 가 진짜 텐서 요인을 보장할 수 있는가?
• RQ2 노이즈와 과다 완성도가 있는 합성 텐서에서, Orth-ALS가 표준 ALS 및 SVD로 초기화된 ALS보다 낮은 질서 근사에 더 잘 수렴하는가?
• RQ3 3차 단어 삼중공출현 텐서에 적용했을 때, Orth-ALS가 표준 ALS보다 더 높은 품질의 단어 임베딩을 생성할 수 있는가?
• RQ4 대규모 희소 텐서 설정에서, Orth-ALS의 수렴 속도와 강건성은 표준 ALS와 비교해 어떻게 되는가?

주요 결과

• 합성 데이터에서 비균일한 가중치와 노이즈 조건 하에서도 Orth-ALS는 진짜 텐서 요인을 일관되게 복원하지만, 표준 ALS는 국소 최적해로 인해 자주 실패한다.
• 정확한 및 노이즈가 있는 합성 텐서에서, Orth-ALS는 표준 ALS 및 SVD로 초기화된 ALS보다 유의미하게 낮은 질서 근사 오차를 달성한다.
• 텐서 완성 작업에서, Orth-ALS는 과다 완성도 및 노이즈가 많은 환경에서 특히 뛰어난 복원 정확도를 보인다.
• 3차 공출현 텐서에서 유도된 단어 임베딩 학습에서, Orth-ALS는 표준 ALS보다 어법 및 유사성 작업에서 거의 30% 더 높은 정확도를 보인다.
• 알고리즘은 계산 효율성과 확장성을 유지하면서도, 이론적 수렴 보장을 달성한다.
• 이론적 분석 결과, 요인 추정 오차는 잔차 상관관계에 따라 제곱적으로 감소하며, 가중치 추정 오차는 수직성에서의 이격도를 측정하는 η에 대해 O(η)로 경계됨을 보여준다.