[논문 리뷰] On Higher-order Singular Value Decomposition from Incomplete Data.

Yangyang Xu|arXiv (Cornell University)|2014. 11. 16.

Tensor decomposition and applications인용 수 3

한 줄 요약

이 논문은 완전하지 않은 텐서 데이터에 대한 고계수 특이값 분해(HOSVD)를 위한 통합 최적화 프레임워크를 제안한다. 이는 텐서 보간과 분해를 하나의 비볼록 문제로 통합하여, 기존의 두 단계 방법(보간 → HOSVD)의 비효율성과 신뢰성 문제를 해결한다. 블록 좌표 업데이트 알고리즘을 활용하여 전역 수렴 보장을 확보함으로써, 낮은 질량의 텐서 복원 및 얼굴 인식, MRI 재구성과 같은 실제 응용 분야에서 최신 기법들을 능가하는 성능을 달성한다.

ABSTRACT

Abstract. Higher-order singular value decomposition (HOSVD) is an efficient way for data reduction and also eliciting intrinsic structure of multi-dimensional array data. It has been used in many applications, and some of them involve incomplete data. To obtain HOSVD of the data with missing values, one can first impute the missing entries through a certain tensor completion method and then perform HOSVD to the reconstructed data. However, the two-step procedure can be inefficient and does not make reliable decomposition. In this paper, we formulate an incomplete HOSVD problem and combine the two steps into solving a single optimization problem, which simultaneously achieves imputation of missing values and also tensor decomposition. We also present two algorithms for solving the problem based on block coordinate update. Global convergence of both algorithms is shown under mild assumptions. The convergence of the second algorithm implies that of the popular higher-order orthogonality iteration (HOOI) method, and thus we, for the first time, give global convergence of HOOI. In addition, we compare the proposed methods to state-of-the-art ones for solving incomplete HOSVD and also low-rank tensor completion problems and demonstrate the superior performance of our methods over other compared ones. Furthermore, we apply them to face recognition and MRI image reconstruction to show their practical performance. Key words. multilinear data analysis, higher-order singular value decomposition (HOSVD), low-rank tensor completion, non-convex optimization, higher-order orthogonality iteration (HOOI), global convergence.

연구 동기 및 목표

• 완전하지 않은 텐서 데이터에 대한 기존의 두 단계 방법(보간 → HOSVD)의 비효율성과 불신뢰성 문제를 해결한다.
• 텐서 보간과 고계수 특이값 분해를 동시에 수행하는 단일 최적화 문제를 수립한다.
• 약한 조건 하에서도 수렴 보장이 되는 알고리즘을 개발한다.
• 고계수 직교성 반복(HOOI) 방법에 대해 처음으로 전역 수렴을 입증한다.
• 낮은 질량의 텐서 복원 및 얼굴 인식, MRI 재구성과 같은 실제 응용 분야에서 향상된 성능을 입증한다.

제안 방법

• 낮은 질량 근사 오차를 최소화하고 고계수 직교성을 강제하는 비볼록 최적화 문제로 완전하지 않은 HOSVD 문제를 수립한다.
• 두 가지 블록 좌표 업데이트 알고리즘을 도입한다: 하나는 교대 최소화 방식, 다른 하나는 질량 근사에 대한 변수 하드 스레싱 방식.
• 핵심 텐서와 인자 행렬을 반복적으로 최적화하는 텐서 토커 분해를 기반 구조로 사용한다.
• 핵심 텐서를 고정하고 인자 행렬을 교대 최소 제곱법으로 업데이트하며, 반대로 핵심 텐서를 고정하고 인자 행렬을 업데이트함으로써, 약한 조건 하에서도 수렴 보장을 확보한다.
• 하드 스레싱을 통한 질량 유지 메커니즘을 도입하여 최적화 과정에서 낮은 질량의 구조를 유지한다.
• 표준 가정 하에 두 알고리즘의 전역 수렴을 증명하며, 두 번째 알고리즘의 수렴성은 HOOI 방법의 전역 수렴성을 암시한다.

실험 결과

연구 질문

• RQ1 완전하지 않은 데이터에서 텐서 보간과 HOSVD를 동시에 수행할 수 있는 통합 최적화 프레임워크를 설계할 수 있는가? 이는 기존의 두 단계 방법의 비효율성을 피할 수 있는가?
• RQ2 제안된 통합 문제를 위한 블록 좌표 업데이트 알고리즘이 약한 가정 하에서도 전역 수렴을 달성하는가?
• RQ3 제안된 알고리즘의 수렴성은 이전에 그러한 보장을 받지 못했던 널리 사용되는 HOOI 방법의 전역 수렴성을 암시하는가?
• RQ4 정확도와 효율성 측면에서 낮은 질량의 텐서 복원 과제에서 제안된 방법이 최신 기법들보다 어떻게 비교되는가?
• RQ5 제안된 방법은 얼굴 인식 및 MRI 영상 재구성과 같은 실제 응용 분야에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 통합 최적화 프레임워크는 낮은 질량의 텐서 복원 과제에서 최신 기법들을 능가하며, 더 높은 정확도와 더 빠른 수렴 속도를 보여준다.
• 첫 번째 블록 좌표 업데이트 알고리즘은 약한 가정 하에서도 전역 수렴을 보이며, 이는 이 알고리즘의 사용에 대한 이론적 기반을 제공한다.
• 두 번째 알고리즘의 수렴성은 HOOI 방법의 전역 수렴성을 암시하며, 텐서 분해 분야에서 오랫동안 미해결이었던 문제를 해결한다.
• 기존 방법들과 비교하여 얼굴 인식 및 MRI 영상 재구성 과제에서 제안된 방법이 더 높은 재구성 정확도를 달성한다.
• 실험 결과는 통합된 보간과 분해가 순차적인 두 단계 절차보다 더 신뢰성 있고 강건한 텐서 분해를 제공한다는 것을 보여준다.