[논문 리뷰] Nesterov Acceleration of Alternating Least Squares for Canonical Tensor Decomposition

Drew Mitchell, Nan Ye외 1명|arXiv (Cornell University)|2018. 10. 13.

Tensor decomposition and applications인용 수 7

한 줄 요약

이 논문은 캐논리컬 텐서 분해를 위한 Nesterov 가속화된 교대 최소 제곱법(ALS)과 적응형 재시작 메커니즘을 제안하여 비볼록 설정에서의 수렴 불안정성을 해결한다. 이 방법은 수렴 속도가著 빠르고 강건성이 뛰어나며, 특히 조건이 나쁜 문제나 고정밀 문제에서 표준 ALS, Nesterov 경사 방법, 기존의 가속 기법인 NCG, NGMRES, LBFGS를 모두 능가한다. 또한 구현이 더 간단하다.

ABSTRACT

We present Nesterov-type acceleration techniques for Alternating Least Squares (ALS) methods applied to canonical tensor decomposition. While Nesterov acceleration turns gradient descent into an optimal first-order method for convex problems by adding a momentum term with a specific weight sequence, a direct application of this method and weight sequence to ALS results in erratic convergence behaviour. This is so because the tensor decomposition problem is non-convex and ALS is accelerated instead of gradient descent. Instead, we consider various restart mechanisms and suitable choices of momentum weights that enable effective acceleration. Our extensive empirical results show that the Nesterov-accelerated ALS methods with restart can be dramatically more efficient than the stand-alone ALS or Nesterov accelerated gradient methods, when problems are ill-conditioned or accurate solutions are desired. The resulting methods perform competitively with or superior to existing acceleration methods for ALS, including ALS acceleration by NCG, NGMRES, or LBFGS, and additionally enjoy the benefit of being much easier to implement. We also compare with Nesterov-type updates where the momentum weight is determined by a line search, which are equivalent or closely related to existing line search methods for ALS. On a large and ill-conditioned 71$ imes$1000$ imes$900 tensor consisting of readings from chemical sensors to track hazardous gases, the restarted Nesterov-ALS method shows desirable robustness properties and outperforms any of the existing methods by a large factor. There is clear potential for extending our Nesterov-type acceleration approach to accelerating other optimization algorithms than ALS applied to other non-convex problems, such as Tucker tensor decomposition. Our Matlab code is available at this https URL.

연구 동기 및 목표

• 비볼록 텐서 분해 문제에서 직접적인 Nesterov 가속화가 수렴을 불안정하게 만들 수 있는 문제를 해결하기 위해.
• 캐논리컬 텐서 분해에서 ALS에 대해 안정적이고 효율적인 가속화 프레임워크를 개발하기 위해.
• 특히 조건이 나쁜 문제나 고정밀 문제에서 수렴 속도와 해의 정확도를 향상시키기 위해.
• 복잡한 준뉴턴법이나 비선형 공액 기울기 방법의 간단한 대안을 제공하기 위해.
• Tucker 분해와 같은 다른 비볼록 텐서 문제로 Nesterov 유형의 가속화를 확장할 잠재력을 탐색하기 위해.

제안 방법

• 경사 하강법이 아닌 ALS에 Nesterov 유형의 운동량을 도입하여 비볼록 최적화에 적합한 운동량 가중치 순서를 적응시킨다.
• 비볼록 설정에서의 수렴 불안정성을 방지하기 위해 재시작 메커니즘을 도입한다.
• 일부 변형에서는 선 탐색을 사용하여 운동량 가중치를 결정하며, 이는 기존 ALS에 대한 선 탐색 방법과 연결된다.
• 현재 반복값과 과거 반복값 기반의 운동량 항을 조합하는 수정된 업데이트 규칙을 사용한다.
• 수렴이 정체되거나 발산할 경우 운동량을 재설정하는 동적 재시작 전략을 구현한다.
• 합성 데이터와 실제 세계 데이터를 바탕으로 방법을 검증하였으며, 대규모 71×1000×900 센서 텐서를 포함한다.

실험 결과

연구 질문

• RQ1 비볼록 텐서 분해 문제에서 직접적인 Nesterov 가속화가 수렴을 불안정하게 만들지 않고 효과적으로 ALS에 적용될 수 있는가?
• RQ2 어떤 재시작 메커니즘과 운동량 가중치 순서가 비볼록 ALS에서 안정적이고 빠른 수렴을 가능하게 하는가?
• RQ3 Nesterov 가속 ALS는 표준 ALS 및 NCG, NGMRES, LBFGS와 같은 다른 가속 방법과 비교해 성능 및 강건성 면에서 어떻게 성과를 내는가?
• RQ4 이 방법은 대규모이고 조건이 나쁜 텐서 문제에서도 효율성과 안정성을 유지하는가?
• RQ5 이 방법은 캐논리컬 분해를 넘어서 다른 비볼록 텐서 최적화 문제로 일반화될 수 있는가?

주요 결과

• 재시작 기반 Nesterov-ALS는 조건이 나쁜 문제나 고정밀 텐서 분해 작업에서 표준 ALS와 Nesterov 가속 경사 방법을 크게 능가한다.
• 71×1000×900 화학 센서 텐서에서 이 방법은 모든 기존 방법보다 뛰어난 강건성과 성능을 보였다.
• 제안된 방법은 NCG, NGMRES, LBFGS와 비교해 경쟁력 있거나 더 낫지만, 구현이 훨씬 간단하다.
• 선 탐색 기반 운동량 가중치는 기존 ALS에 대한 선 탐색 방법과 동치이거나 밀접하게 관련되어 있어 방법의 타당성을 검증한다.
• 이 방법은 Tucker 텐서 분해와 같은 다른 비볼록 텐서 문제로의 확장 잠재력이 뚜렷하다.
• 실험 결과는 Nesterov 운동량과 재시작 메커니즘의 조합이 비볼록 설정에서 수렴을 안정화시키고 진전 속도를 가속화함을 확인한다.