[논문 리뷰] Fast algorithms for Higher-order Singular Value Decomposition from incomplete data

Yangyang Xu|arXiv (Cornell University)|2014. 11. 16.

Tensor decomposition and applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 완전하지 않은 다차원 데이터에서 동시에 저질서 텐서 복원과 고차원 특이값 분해(HOSVD)를 수행하는 통합 최적화 프레임워크를 제안한다. 누락된 값을 보간하고 분해를 동시에 수행하는 비볼록 문제를 블록 좌표 업데이트로 해결함으로써, 기존 최고 수준의 방법들보다 빠른 수렴 속도와 뛰어난 정확도를 달성하며, 가벼운 조건 하에 HOOI 알고리즘에 대해 처음으로 전역 수렴성을 증명한다.

ABSTRACT

Higher-order singular value decomposition (HOSVD) is an efficient way for data reduction and also eliciting intrinsic structure of multi-dimensional array data. It has been used in many applications, and some of them involve incomplete data. To obtain HOSVD of the data with missing values, one can first impute the missing entries through a certain tensor completion method and then perform HOSVD to the reconstructed data. However, the two-step procedure can be inefficient and does not make reliable decomposition. In this paper, we formulate an incomplete HOSVD problem and combine the two steps into solving a single optimization problem, which simultaneously achieves imputation of missing values and also tensor decomposition. We also present two algorithms for solving the problem based on block coordinate update. Global convergence of both algorithms is shown under mild assumptions. The convergence of the second algorithm implies that of the popular higher-order orthogonality iteration (HOOI) method, and thus we, for the first time, give global convergence of HOOI. In addition, we compare the proposed methods to state-of-the-art ones for solving incomplete HOSVD and also low-rank tensor completion problems and demonstrate the superior performance of our methods over other compared ones. Furthermore, we apply them to face recognition and MRI image reconstruction to show their practical performance.

연구 동기 및 목표

• 완전하지 않은 다차원 데이터에 대해 전통적인 두 단계 접근 방식(텐서 복원 → HOSVD)의 비효율성과 부정확성을 해결하기 위해.
• 누락된 값을 동시에 보간하고 잘라낸 HOSVD를 계산하는 공동 최적화 프레임워크를 개발하기 위해.
• 이전까지 증명되지 않았던 고차원 직교성 반복(HOOI) 방법의 전역 수렴성을 확립하기 위해.
• 더 신뢰할 수 있는 저질서 텐서 요소를 생성함으로써 얼굴 인식 및 MRI 재구성과 같은 후행 작업의 성능을 향상시키기 위해.

제안 방법

• 관측된 데이터와 재구성된 텐서 간의 프로베니우스 노름 차이를 최소화하는 단일 비볼록 최적화 문제로 완전하지 않은 HOSVD 문제를 공식화한다.
• 직교성 제약 조건 하에 핵심 텐서와 인자 행렬을 번갈아 가며 업데이트하는 블록 좌표 하강(BCD) 알고리즘을 사용하여 문제를 해결한다.
• 핵심 텐서는 다선형 전개와 모드-n 텐서-행렬 곱셈을 통해 업데이트되는 블록 좌표 업데이트(BCU) 기법을 적용한다.
• 각 업데이트 단계 이후에 요소 행렬의 정규직교성을 확보하기 위해 경제형 QR 분해를 사용한다.
• 각 반복 단계에서 재구성된 텐서를 업데이트함으로써 관측된 항목과의 일致성을 유지하기 위해 투영 단계를 구현한다.
• 가벼운 가정 하에 알고리즘의 전역 수렴성을 증명하며, 이는 HOOI 방법에 대한 처음으로 전역 수렴 결과를 의미한다.

실험 결과

연구 질문

• RQ1 텐서 복원과 HOSVD를 위한 공동 최적화 프레임워크는 표준 두 단계 접근 방식보다 정확도와 효율성 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 제안된 알고리즘이 전역 수렴성을 달성하는가? 그리고 이는 널리 사용되는 HOOI 방법의 수렴성 증명에 활용될 수 있는가?
• RQ3 실세계 데이터셋에서 제안된 방법의 성능은 최고 수준의 텐서 복원 및 저질서 텐서 근사 기법들과 비교해 어떻게 되는가?
• RQ4 공동으로 학습된 텐서 요소는 얼굴 인식과 같은 후행 분류 작업에서 성능 향상에 기여하는가?
• RQ5 데이터가 매우 불완전할 경우, 기존 방법들과 비교해 더 신뢰할 수 있고 안정적인 저질서 근사값을 생성하는가?

주요 결과

• 제안된 알고리즘은 합성 및 실세계 완전하지 않은 텐서 데이터셋에서 최고 수준의 저질서 텐서 복원 방법들보다 뛰어난 재구성 정확도를 달성한다.
• 얼굴 인식 작업에서 향상된 성능을 보이며, 더 신뢰할 수 있고 구조화된 인자 행렬 덕분에 높은 분류 정확도를 달성한다.
• 가벼운 가정 하에 알고리즘이 전역 수렴하며, 이 결과로 HOOI 방법에 대한 처음으로 전역 수렴 증명이 이루어진다.
• 이 방법은 동시에 텐서 복원과 HOSVD를 수행하여 하나의 통합 프레임워크 안에서 재구성된 텐서와 저질서 분해를 생성한다.
• 실험 결과는 제안된 방법이 순차적 복원 및 분해 파이프라인보다 더 빠르고 정확하다는 것을 보여준다.
• 의료 영상 응용 분야에서 실용적인 유용성을 입증하며, 고해상도로 MRI 영상을 성공적으로 재구성한다.