[논문 리뷰] Generalized Higher-Order Tensor Decomposition via Parallel ADMM

Fanhua Shang, Yuanyuan Liu외 1명|arXiv (Cornell University)|2014. 07. 05.

Tensor decomposition and applications참고 문헌 26인용 수 14

한 줄 요약

이 논문은 사전에 랭크를 지정하지 않고 각 모드에서 저랭크 요인을 자동으로 결정할 수 있는 볼록 최적화, 트레이스 노름 정규화를 적용한 텐서 분해 방법을 제안한다. 텐서와 코어 텐서의 트레이스 노름 간의 등가성과 비볼록 문제를 가중치가 부여된 행렬 트레이스 노름 최소화 문제로 재구성함으로써, 합성 및 실세계 데이터(자기공명영상 및 영상 데이터셋 포함)에서 노이즈와 이방성에 대해 뛰어난 정확성과 강인성을 확보한 두 가지 병렬 ADMM 알고리즘을 개발한다.

ABSTRACT

Higher-order tensors are becoming prevalent in many scientific areas such as computer vision, social network analysis, data mining and neuroscience. Traditional tensor decomposition approaches face three major challenges: model selecting, gross corruptions and computational efficiency. To address these problems, we first propose a parallel trace norm regularized tensor decomposition method, and formulate it as a convex optimization problem. This method does not require the rank of each mode to be specified beforehand, and can automatically determine the number of factors in each mode through our optimization scheme. By considering the low-rank structure of the observed tensor, we analyze the equivalent relationship of the trace norm between a low-rank tensor and its core tensor. Then, we cast a non-convex tensor decomposition model into a weighted combination of multiple much smaller-scale matrix trace norm minimization. Finally, we develop two parallel alternating direction methods of multipliers (ADMM) to solve our problems. Experimental results verify that our regularized formulation is effective, and our methods are robust to noise or outliers.

연구 동기 및 목표

• 사전에 정의된 랭크가 종종 최적의 결과를 이끌지 못하는 고차원 텐서 분해에서의 랭크 선택 과제를 해결한다.
• CP 및 Tucker와 같은 전통적인 텐서 분해 방법이 심각한 오염과 노이즈에 민감한 문제를 해결한다.
• 병렬 처리와 문제 규모 축소를 통해 고차원 텐서에 대한 계산 효율성을 향상시킨다.
• 수동적인 랭크 입력 없이 각 모드에서 요인의 수를 자동으로 결정하는 볼록 최적화 프레임워크를 개발한다.
• 텐서 완성, 저랭크 및 희소 텐서 분해와 같은 응용 분야를 위한 강인한 텐서 복구를 가능하게 한다.

제안 방법

• 고차원 텐서에서 저랭크 구조를 촉진하기 위해 트레이스 노름 정규화를 사용하는 볼록 최적화 문제를 설정한다.
• 저랭크 텐서의 트레이스 노름과 그 코어 텐서의 트레이스 노름 간의 등가성을 확립하여 효율적인 계산을 가능하게 한다.
• 비볼록 고차원 직교 반복 모델을 더 작은 규모의 행렬 트레이스 노름 최소화 문제들의 가중 조합으로 재구성한다.
• 유연성과 수렴 속도 향상을 위해 결과로 얻어진 볼록 문제를 해결하기 위한 두 가지 병렬 ADMM 알고리즘을 설계한다.
• 텐서 모드를 기반으로 한 병렬화를 통해 보다 높은 계산 효율성을 확보한 증분 승수 방법(ADMM)을 활용한다.
• 원래의 비볼록 텐서 분해 모델을 근사하기 위해 가중치가 부여된 핵심 노름 최소화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 볼록 텐서 분해 프레임워크는 사전에 랭크를 지정하지 않고도 각 모드에서 요인의 수를 자동으로 결정할 수 있는가?
• RQ2 트레이스 노름 정규화는 고차원 텐서 분해에서 노이즈와 심각한 오염에 대해 어떻게 강인성을 향상시키는가?
• RQ3 텐서와 코어 텐서의 트레이스 노름 간의 등가성을 얼마나 효율적으로 활용하여 계산 복잡도를 감소시킬 수 있는가?
• RQ4 병렬 ADMM 알고리즘은 기존 방법에 비해 대규모 텐서 데이터에서 더 빠른 수렴 속도와 더 뛰어난 확장성을 확보할 수 있는가?
• RQ5 제안된 방법은 합성 및 실세계 텐서 데이터에서 HOSVD, HOOI, ADMM와 같은 기존 방법과 비교해 정확성과 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 합성 제3차 및 제4차 텐서에서 제안된 CTD 및 NCTD 방법은 HOSVD, HOOI, Mixture, ADMM보다 상대 표준 오차(RSE)가 유의미하게 낮으며, 랭크 5에서 RSE 값이 최소 6.52e-03까지 저하된다.
• 200×200×200 텐서에서 NCTD는 HOSVD 및 HOOI에 비해 RSE를 80% 이상 감소시켰으며, 이들의 RSE 값은 약 3.3×10⁻² 수준을 기록한다.
• 60×60×60×60 텐서에서 NCTD는 모든 테스트 랭크에서 RSE가 7.2×10⁻³ 이하로 유지되며, HOSVD 및 HOOI는 RSE 값이 3.8×10⁻² 이상을 기록하는 등 뛰어난 성능을 보인다.
• 단계 전이 플롯을 통해 CTD 및 NCTD는 HOSVD 및 HOOI보다 더 높은 노이즈 수준과 랭크 설정에서 저랭크 텐서를 성공적으로 복원하며, 흰 영역(완전한 복원)이 더 넓게 확장됨을 확인할 수 있다.
• 181×217×181 뇌 자기공명영상(MRI) 데이터셋에서 CTD 및 NCTD는 모든 테스트 랭크에서 HOSVD 및 HOOI보다 일관되게 낮은 RSE를 기록하며, NCTD는 로그 스케일에서 더 빠른 런타임을 보였다.
• NCTD 방법은 HOSVD 및 HOOI보다 빠르며, 60×60×60×60 텐서에서 랭크 20일 경우 런타임이 100초 이내로 유지되며, HOOI는 4000초를 초과한다.