[논문 리뷰] Tensor Factorization via Matrix Factorization

Volodymyr Kuleshov, Arun Tejasvi Chaganty외 1명|arXiv (Cornell University)|2015. 01. 29.

Tensor decomposition and applications참고 문헌 28인용 수 45

한 줄 요약

이 논문은 랜덤 프로젝션을 통해 CP 텐서 분해를 행렬 분해로 감소시키는 새로운 텐서 분해 방법을 제안한다. 이로 인해 안정적이고 최적화된 행렬 알고리즘을 사용할 수 있게 된다. O(log k)개의 랜덤 벡터에 텐서를 프로젝션함으로써, 고유값 간격 민감도를 피하고 합성 및 실세계 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 커뮤니티 탐지 작업에서 15%의 오차 감소와 커스텀 소싱 작업에서 8%의 오차 감소를 기록한다.

ABSTRACT

Tensor factorization arises in many machine learning applications, such knowledge base modeling and parameter estimation in latent variable models. However, numerical methods for tensor factorization have not reached the level of maturity of matrix factorization methods. In this paper, we propose a new method for CP tensor factorization that uses random projections to reduce the problem to simultaneous matrix diagonalization. Our method is conceptually simple and also applies to non-orthogonal and asymmetric tensors of arbitrary order. We prove that a small number random projections essentially preserves the spectral information in the tensor, allowing us to remove the dependence on the eigengap that plagued earlier tensor-to-matrix reductions. Experimentally, our method outperforms existing tensor factorization methods on both simulated data and two real datasets.

연구 동기 및 목표

• 행렬 분해에 비해 텐서 분해를 위한 숙련된 수치적 방법이 부족한 문제를 해결하기 위해.
• 이전에 노이즈에 대한 강건성에 제한을 둔 텐서-행렬 감소 방법에서 고유값 간격 의존성을 제거하기 위해.
• 텐서 문제에 대해 잘 알려지고 수치적으로 안정적인 행렬 분해 알고리즘을 사용할 수 있도록 하기 위해.
• 사용된 공동 대각화 알고리즘과 무관하게 기존 방법과 비교할 만한 정확도 이론적 보장을 제공하기 위해.
• 합성 및 실세계 데이터셋에서 순차적 최소제곱법과 텐서 힘 방법에 비해 경험적으로 우월함을 보여주기 위해.

제안 방법

• 이 방법은 제3차 텐서를 O(log k)개의 랜덤 벡터에 프로젝션하여 행렬 집합을 생성한다.
• 프로젝션된 행렬들에 대해 동시 행렬 대각화를 수행하여 텐서의 랭크-k 요소를 추정한다.
• 이 방법은 임의의 차수의 정규직교, 비정규직교 및 비대칭 텐서에 적용 가능하다.
• 랜덤 프로젝션은 스펙트럼 정보를 유지하므로, 고유값 간격 의존성을 피할 수 있다.
• 선택적 정밀화 단계에서는 프로젝션 단계에서 랜덤 벡터 대신 추정된 요소를 사용할 수 있다.
• 이론적 분석 결과 오차 한계는 노이즈 ε에 비례하며, 공동 대각화 알고리즘과는 무관하다.

실험 결과

연구 질문

• RQ1 통계적 정확도를 유지하면서 텐서 분해를 효과적으로 행렬 분해로 감소시킬 수 있는가?
• RQ2 랜덤 프로젝션은 이전의 텐서-행렬 감소 방법에서 악영향을 미친 고유값 간격 의존성을 제거하는가?
• RQ3 숙련된 행렬 분해 알고리즘을 활용해 텐서 문제의 성능을 향상시킬 수 있는가?
• RQ4 기존의 텐서 분해 기법들인 ALS와 텐서 힘 방법과 비교해 실질적으로 이 방법은 어떻게 성능을 내는가?
• RQ5 노이즈와 텐서 랭크에 따라 이 방법의 이론적 오차 한계는 어떻게 변하는가?

주요 결과

• 최근의 접근법에 비해 커뮤니티 탐지 작업에서 오차를 최대 15% 감소시켰다.
• 커스텀 소싱 데이터셋에서 오차를 최대 8% 감소시켰으며, 네 개의 데이터셋 중 세 개에서 최신 기술 수준의 EM 기반 추정기와 동일하거나 이를 초월했다.
• 이론적 보장 결과 오차 한계는 노이즈 ε에 비례하며, 사용된 공동 대각화 알고리즘과는 무관하다.
• O(log k) 랜덤 프로젝션을 통해 고유값 간격 의존성을 피함으로써, 이전의 행렬 기반 텐서 분해의 핵심적 한계를 해결했다.
• 공동 대각화 서브루틴의 유리한 수렴 특성 덕분에 국소 최적해 문제는 실질적으로 발생하지 않으며, EM과 같은 방법과는 대조된다.
• 경험적 결과는 최적화된 행렬 분해 알고리즘을 활용함으로써 정확도와 속도 향상이 가능하다는 것을 확인했다.