[논문 리뷰] Scalable Tensor Completion with Nonconvex Regularization.

Quanming Yao|arXiv (Cornell University)|2018. 07. 23.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 낮은 질서 추정에서의 편향을 줄이기 위해 큰 특이값에 대해 덜 페널티를 주는 비볼록 정규화 접근법을 제안한다. 가속화된 프록시멀 평균 기반 알고리즘을 사용하여, 기존 방법에 비해 훨씬 더 빠른 계산 속도와 낮은 메모리 사용량을 달성하면서도 임계점으로의 수렴을 유지하고 실험적으로 뛰어난 복원 성능을 보인다.

ABSTRACT

Low-rank tensor completion problem aims to recover a tensor from limited observations, which has many real-world applications. Due to the easy optimization, the convex overlapping nuclear norm has been popularly used for tensor completion. However, it over-penalizes top singular values and lead to biased estimations. In this paper, we propose to use the nonconvex regularizer, which can less penalize large singular values, instead of the convex one for tensor completion. However, as the new regularizer is nonconvex and overlapped with each other, existing algorithms are either too slow or suffer from the huge memory cost. To address these issues, we develop an efficient and scalable algorithm, which is based on the proximal average (PA) algorithm, for real-world problems. Compared with the direct usage of PA algorithm, the proposed algorithm runs orders faster and needs orders less space. We further speed up the proposed algorithm with the acceleration technique, and show the convergence to critical points is still guaranteed. Experimental comparisons of the proposed approach are made with various other tensor completion approaches. Empirical results show that the proposed algorithm is very fast and can produce much better recovery performance.

연구 동기 및 목표

• 낮은 질서 텐서 복원에서 볼록 겹치는 핵 노름 정규화로 인한 편향을 해결하기 위해.
• 고비용의 메모리와 계산 비용을 피하면서도 비볼록 정규화를 위한 효율적이고 확장 가능한 알고리즘을 개발하기 위해.
• 직접 프록시멀 평균 적용에 비해 런타임과 공간 효율성을 크게 향상시키면서도 수렴 보장을 유지하기 위해.
• 실제 데이터에서 기존 텐서 복원 방법들보다 빠른 속도와 높은 복원 정확도를 확보하기 위해.

제안 방법

• 볼록 겹치는 핵 노름을 비볼록 정규화로 대체하여 큰 특이값에 대한 페널티를 줄인다.
• 비볼록이고 겹치는 정규화를 효율적으로 다룰 수 있도록 프록시멀 평균(PA) 프레임워크 기반의 새로운 알고리즘을 개발한다.
• 기본 PA 대비 수개의 주기적 속도 향상과 공간 절감을 이끌어내는 계산 및 메모리 최적화 기법을 도입한다.
• 이론적 임계점으로의 수렴을 유지하면서도 수렴 속도를 더욱 빠르게 하기 위해 가속 기법을 적용한다.
• 비볼록 정규화에 맞는 프록시멀 연산자를 사용한 반복 최적화를 통해 확장 가능한 텐서 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비볼록 정규화는 볼록 핵 노름 정규화에 비해 낮은 질서 텐서 복원에서 편향을 줄일 수 있는가?
• RQ2 비볼록이고 겹치는 텐서 정규화에 대해 프록시멀 평균 기반 알고리즘을 확장 가능하고 효율적으로 만들 수 있는가?
• RQ3 제안된 알고리즘은 직접 PA 적용에 비해 더 빠른 수렴 속도와 낮은 메모리 사용량을 달성하는가?
• RQ4 비볼록 알고리즘에 대해 수렴 보장을 잃지 않으면서도 가속을 적용할 수 있는가?
• RQ5 기존 텐서 복원 방법들과 비교해 제안된 방법은 복원 정확도와 속도 측면에서 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 직접 프록시멀 평균 알고리즘 적용에 비해 뚜렷하게 빠른 런타임과 낮은 메모리 소비를 달성한다.
• 가속화 후에도 알고리즘이 임계점으로의 수렴을 유지하여 이론적 신뢰성을 확보한다.
• 실험 결과는 다른 텐서 복원 방법들에 비해 뛰어난 복원 성능을 보이며, 특히 낮은 질서 구조를 잘 유지하는 데 유리하다.
• 비볼록 정규화는 특이값 추정의 편향을 줄여 더 정확한 텐서 재구성에 기여한다.
• 제안된 방법은 실세계 문제에 효과적으로 스케일업되어 실용적 적용 가능성을 입증한다.