[논문 리뷰] Higher order Matching Pursuit for Low Rank Tensor Learning

Yuning Yang, Siamak Mehrkanoon외 1명|arXiv (Cornell University)|2015. 03. 07.

Tensor decomposition and applications참고 문헌 41인용 수 5

한 줄 요약

이 논문은 저랭크 텐서 학습을 위한 확장 가능한 알고리즘인 고차수 매칭 퇴적법(HoMP)을 제안한다. HoMP는 반복적으로 랭크-일치 성분들의 합으로 텐서를 구성하며, 증명 가능한 근사 비율을 갖는 효율적인 텐서 특이값 문제 근사 기법을 통해 선형 수렴성을 확보한다. 이는 볼록 및 비볼록 최적화 문제 모두에 대해 선형 수렴성을 달성하며, 낮은 저장소 및 계산 복잡도를 제공한다. 또한 텐서 완성 및 다중선형 다중작업 학습 작업에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Low rank tensor learning, such as tensor completion and multilinear multitask learning, has received much attention in recent years. In this paper, we propose higher order matching pursuit for low rank tensor learning problems with a convex or a nonconvex cost function, which is a generalization of the matching pursuit type methods. At each iteration, the main cost of the proposed methods is only to compute a rank-one tensor, which can be done efficiently, making the proposed methods scalable to large scale problems. Moreover, storing the resulting rank-one tensors is of low storage requirement, which can help to break the curse of dimensionality. The linear convergence rate of the proposed methods is established in various circumstances. Along with the main methods, we also provide a method of low computational complexity for approximately computing the rank-one tensors, with provable approximation ratio, which helps to improve the efficiency of the main methods and to analyze the convergence rate. Experimental results on synthetic as well as real datasets verify the efficiency and effectiveness of the proposed methods.

연구 동기 및 목표

• 특이값 분해(SVD)에 의존하는 기존 저랭크 텐서 학습 방법의 확장성 및 저장소 제약 문제를 해결하기 위해.
• 비용 함수의 수렴 보장을 유지하면서 고비용 SVD 계산을 피하는 탐욕적이고 반복적인 저랭크 텐서 근사 방법을 개발하기 위해.
• 매칭 퇴적 원리를 고차수 텐서로 확장하여 볼록 및 비볼록 비용 함수에 모두 적용 가능하도록 하기 위해.
• 기울기 정보를 기반으로 한 랭크-일치 텐서를 계산하기 위한 증명 가능하고 낮은 복잡도의 알고리즘을 제공하기 위해.
• 다양한 손실 함수 하에서 텐서 완성 및 다중선형 다중작업 학습에서 HoMP의 선형 수렴 속도를 확립하기 위해.

제안 방법

• HoMP는 반복적으로 랭크-일치 성분들의 합으로 저랭크 텐서를 구성하며, 각 성분은 기울기 정보를 기반으로 비용 함수를 최대한 줄이는 데 최적화된다.
• 각 반복 단계에서 알고리즘은 텐서 스펙트럼 노름 하위문제를 해결함으로써 랭크-일치 텐서를 식별하며, 이는 증명 가능한 근사 비율을 갖는 방법으로 근사된다.
• 최소 제곱 손실 함수를 포함하는 경우, 매칭 퇴적법, 경제적 직교 매칭 퇴적법, 직교 매칭 퇴적법의 세 가지 전략을 사용하여 스텝 크기를 선택한다.
• 비볼록 비용 함수의 경우, 비용 함수의 이차 주요화를 최소화함으로써 가중치를 선택하여 내림차순 행동을 보장한다.
• 이 방법은 낮은 랭크 구조를 활용하여 랭크-일치 성분들만 저장함으로써 저장소를 O((n₁ + ⋯ + nₙ) × r)로 줄인다. 여기서 r은 반복 횟수이다.
• 수렴 분석은 볼록 및 비볼록 설정 모두에서 수행되었으며, 텐서 완성 및 MLMTL에서 선형 수렴성이 입증되었다.

실험 결과

연구 질문

• RQ1 매칭 퇴적법 스타일 알고리즘이 증명 가능한 수렴성을 갖는 고차수 텐서로 일반화되어 저랭크 학습에 적용될 수 있는가?
• RQ2 증명 가능한 근사 비율을 갖는 효율적인 텐서 특이값 문제 근사 기법을 통해 확장성이 확보될 수 있는가?
• RQ3 제안된 방법이 텐서 완성 및 다중선형 다중작업 학습에서 볼록 및 비볼록 비용 함수 모두에 대해 선형 수렴성을 달성하는가?
• RQ4 대규모 환경에서 HoMP의 저장소 및 계산 복잡도는 SVD 기반 또는 교대 최소화 방법과 비교해 어떻게 되는가?
• RQ5 실제 텐서 데이터, 예를 들어 그림자로 인해 손상된 얼굴 이미지에서, 이 방법은 결측 항목을 효과적으로 복원하고 노이즈를 제거할 수 있는가?

주요 결과

• HoMP는 텐서 완성 및 다중선형 다중작업 학습에서 볼록 및 비볼록 비용 함수 모두에 대해 선형 수렴성을 확보하였으며, 이는 이론적 분석을 뒷받침한다.
• 최종 텐서에 대해 HoMP는 O((n₁ + ⋯ + nₙ) × r)의 저장소만 필요로 하며, 이는 RPCA와 같은 행렬 기반 접근 방식의 O(n₁n₂n₃) 저장소 요구량보다 현저히 낮다.
• 60%의 결측 항목이 있는 얼굴 이미지 데이터셋에서 HoMP는 결측값을 성공적으로 보간하고 그림자까지 제거하였으며, RPCA는 모든 항목을 복원하지 못했다.
• 동일한 작업에서 HoMP-G는 RPCA의 2,064,384 단위 대비 169,600 단위의 더 낮은 저장소 프로필을 기록하였다.
• 특히 미세한 이미지 세부 정보(예: 선)를 유지하는 데 있어, HoMP는 그림자 및 반사광 제거에서 RPCA를 능가하는 성능을 보였다.
• 그림 7의 수렴도는 비용 함수의 로그 값이 선형 감소하는 경향을 보이며, 이는 이론적 선형 수렴 속도의 타당성을 확인한다.