[논문 리뷰] All-at-once Optimization for Coupled Matrix and Tensor Factorizations

Evrim Acar, Tamara G. Kolda외 1명|arXiv (Cornell University)|2011. 05. 17.

Tensor decomposition and applications참고 문헌 37인용 수 245

한 줄 요약

이 논문은 모든 요소를 동시에 최적화하는 CMTF-OPT를 제안한다. 이는 기존의 교대 최소 제곱법(ALS)보다 더 높은 정확도와 과다 요인 분해에 대한 강건성을 보이며, 특히 데이터가 불완전한 상황에서 유의미한 성능 향상을 이룬다.

ABSTRACT

Joint analysis of data from multiple sources has the potential to improve our understanding of the underlying structures in complex data sets. For instance, in restaurant recommendation systems, recommendations can be based on rating histories of customers. In addition to rating histories, customers' social networks (e.g., Facebook friendships) and restaurant categories information (e.g., Thai or Italian) can also be used to make better recommendations. The task of fusing data, however, is challenging since data sets can be incomplete and heterogeneous, i.e., data consist of both matrices, e.g., the person by person social network matrix or the restaurant by category matrix, and higher-order tensors, e.g., the "ratings" tensor of the form restaurant by meal by person. In this paper, we are particularly interested in fusing data sets with the goal of capturing their underlying latent structures. We formulate this problem as a coupled matrix and tensor factorization (CMTF) problem where heterogeneous data sets are modeled by fitting outer-product models to higher-order tensors and matrices in a coupled manner. Unlike traditional approaches solving this problem using alternating algorithms, we propose an all-at-once optimization approach called CMTF-OPT (CMTF-OPTimization), which is a gradient-based optimization approach for joint analysis of matrices and higher-order tensors. We also extend the algorithm to handle coupled incomplete data sets. Using numerical experiments, we demonstrate that the proposed all-at-once approach is more accurate than the alternating least squares approach.

연구 동기 및 목표

• 행렬과 고차원 텐서로 구성된 이질적인 데이터 소스를 통합된 잠재 구조 탐색 프레임워크로 융합하는 데 도전한다.
• CMTF에서 교대 알고리즘의 한계를 극복하기 위해 국소 최소값을 피하고 수렴성을 향상시키는 동시에 모든 요소를 동시에 최적화하는 전략을 제안한다.
• 텐서와 행렬의 누락된 값을 지원하도록 최적화 프레임워크를 확장하여 부족한 데이터 세트를 처리한다.
• 추천 시스템 및 의료 데이터 융합과 같은 실제 응용 분야에서 모델의 해석 가능성과 정확도를 향상시킨다.

제안 방법

• 텐서에 대해 CP 모델을, 행렬에 대해선 행렬 분해를 사용하여 모든 요소 행렬에 대한 공동 최소 제곱 최적화 문제로 CMTF 문제를 수립한다.
• 모든 요소 행렬을 순차적으로가 아니라 동시에 업데이트하는 기울기 기반 최적화 알고리즘인 CMTF-OPT를 개발한다.
• 관측된 항목을 손실 함수에 가중치를 적용하여 누락된 값을 처리할 수 있도록 CMTF-WOPT를 확장한다.
• 텐서와 행렬 모두에 재구성 오차를 측정하기 위해 프로베니우스 노름을 사용하여 통합된 목적 함수를 구현한다.
• 선형 탐색을 적용한 1차 최적화 기법을 사용하여 매개변수 업데이트 중 수렴성과 안정성을 확보한다.
• 공통 요소 행렬을 공유하는 다수의 행렬과 텐서를 포함하도록 목적 함수를 일반화하여 다중 연관 데이터 세트를 지원한다.

실험 결과

연구 질문

• RQ1 모든 요소를 동시에 최적화하는 전략이 기존의 교대 최소 제곱법(ALS)보다 정확도와 과다 요인 분해에 대한 강건성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 성분 수 R이 과대 추정되었을 때(즉, 과다 요인 분해 상황에서) 제안된 CMTF-OPT 방법은 어떻게 성능을 발휘하는가?
• RQ3 CMTF-OPT 알고리즘이 텐서와 행렬에 누락된 항목이 포함된 불완전한 데이터 세트를 어느 정도 잘 처리할 수 있는가?
• RQ4 모든 요소 행렬을 동시에 최적화하는 방식이 교대 방법 대비 더 나은 수렴성과 초기화에 대한 민감도 감소를 이끌어내는가?
• RQ5 다양한 손실 함수와 제약 조건(예: 음수 금지)은 CMTF 모델의 성능과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• η = 0.10일 때, CMTF-OPT는 합성 데이터에서 순수 요인 분해 복원에 100% 성공률를 기록했고, ALS는 90.0%에 그쳤다.
• R+1 성분에서 CMTF-OPT는 높은 정확도(96.7% FMS)와 낮은 오차(3.3e-1)를 유지했고, ALS는 성공률가 3.3%로 급격히 하락했다.
• η = 0.25일 때, CMTF-OPT는 R+1 단계에서 86.7% FMS를 기록했고 오차는 극미미한 6.4e-9이었으며, ALS는 단지 13.3%의 성공률에 머물렀다.
• 누락된 데이터가 존재하는 상황(η = 0.35)에서 CMTF-OPT는 R+1 단계에서 46.7% FMS를 유지했고 오차는 1.7e-9로 극히 낮았다. 이는 ALS의 6.7% 성공률에 비해 뚜렷한 우월성을 보였다.
• 모든 요소를 동시에 최적화하는 전략은 과다 요인 분해에 대해 뛰어난 강건성을 보이며, R가 과대 추정되었을 때도 안정적인 성능을 유지했다.
• 수치 실험을 통해 기울기 기반의 동시에 최적화 방법이 CMTF에서 교대 최소 제곱법보다 더 정확하고 신뢰할 수 있음을 확인했으며, 특히 데이터가 불완전한 환경에서 뛰어난 성능을 발휘한다.