[논문 리뷰] Iterative Reweighted Singular Value Minimization Methods for $l_p$ Regularized Unconstrained Matrix Minimization

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|2014. 01. 05.

Advanced Optimization Algorithms Research인용 수 3

한 줄 요약

이 논문은 $l_p$ 정규화된 비제약 행렬 최소화 문제를 해결하기 위해 반복 가중치 부여 특이값 최소화(IRSVM) 및 비단조로운 보정 경사하강(NPG) 방법을 제안한다. 모든 국소 최소화점이 1차 정류점임을 입증하고, 이러한 점들의 비영 특이값에 하한을 도출하며, 두 알고리즘의 전역 수렴성을 증명한다. 실험 결과, IRSVM은 속도와 해의 정확도 면에서 우수한 성능을 보였다.

ABSTRACT

In this paper we study general lp regularized unconstrained matrix minimization problems. In particular, we first introduce a class of first-order stationary points for them. And we show that the first-order stationary points introduced in [11] for an lp regularized vector minimization problem are equivalent to those of an lp regularized ma-trix minimization reformulation. We also establish that any local minimizer of the lp regularized matrix minimization problems must be a first-order stationary point. More-over, we derive lower bounds for nonzero singular values of the first-order stationary points and hence also of the local minimizers for the lp matrix minimization problems. The iterative reweighted singular value minimization (IRSVM) approaches are then pro-posed to solve these problems in which each subproblem has a closed-form solution. We show that any accumulation point of the sequence generated by these methods is a first-order stationary point of the problems. In addition, we study a nonmontone proximal gradient (NPG) method for solving the lp matrix minimization problems and establish its global convergence. Our computational results demonstrate that the IRSVM and NPG methods generally outperform some existing state-of-the-art methods in terms of solution quality and/or speed. Moreover, the IRSVM methods are slightly faster than the NPG method. Key words: lp regularized matrix minimization, iterative reweighted singular value min-imization, iterative reweighted least squares, nonmonotone proximal gradient method

연구 동기 및 목표

• 비제약 행렬 최소화 문제에서 1차 정류점의 분석을 수행한다.
• $l_p$ 행렬 최소화 문제의 국소 최소화점이 반드시 1차 정류점이어야 한다는 것을 입증한다.
• 1차 정류점 및 국소 최소화점의 비영 특이값에 하한을 도출한다.
• 닫힌 형태의 보조 문제를 갖는 반복 가중치 부여 특이값 최소화(IRSVM) 방법을 개발한다.
• 동일한 문제 유형에 대해 전역 수렴 보장을 갖는 비단조로운 보정 경사하강(NPG) 방법을 제안하고 분석한다.

제안 방법

• $l_p$ 정규화된 행렬 최소화 문제에 대해 1차 정류점의 클래스를 도입하고, 벡터 기반 설정에서의 등가 점들과 연결한다.
• 1차 정류점 및 국소 최소화점의 비영 특이값에 대해 이론적 하한을 도출한다.
• 각 보조 문제를 특이값에 대한 반복 가중치 부여를 통해 닫힌 형태로 해결하는 IRSVM 방법을 제안한다.
• NPG 방법에서 수렴 안정성을 향상시키기 위해 비단조로운 선색색 전략을 사용한다.
• NPG 보조 문제에 보정 항을 도입하여 반복값을 안정화하고 수렴을 보장한다.
• IRSVM 및 NPG 반복값의 모든 집적점이 원래 문제의 1차 정류점임을 증명한다.

실험 결과

연구 질문

• RQ1 $l_p$ 정규화된 비제약 행렬 최소화 문제에서 1차 정류점은 무엇으로 특징지어지나?
• RQ2 1차 정류점 및 국소 최소화점의 특이값은 어떻게 행동하며, 하한을 도출할 수 있는가?
• RQ3 닫힌 형태의 해를 갖는 반복 가중치 부여 특이값 최소화(IRSVM) 방법을 설계할 수 있는가?
• RQ4 비단조로운 보정 경사하강(NPG) 방법은 $l_p$ 행렬 최소화 문제에 대해 전역 수렴을 달성하는가?
• RQ5 기존 최신 기술 대비 IRSVM 및 NPG는 해의 정확도와 계산 속도에서 어떻게 비교되는가?

주요 결과

• $l_p$ 정규화된 행렬 최소화 문제의 모든 국소 최소화점은 1차 정류점이다.
• 1차 정류점 및 국소 최소화점의 비영 특이값은 문제 파라미터에 따라 의존하는 양수 값으로 하한이 존재한다.
• IRSVM 방법은 집적점이 1차 정류점이 되는 반복값을 생성하며, 각 보조 문제를 닫힌 형태로 해결할 수 있다.
• NPG 방법은 목적 함수가 단조 감소하지 않더라도 원래 문제의 1차 정류점으로 전역 수렴한다.
• 계산 결과에 따르면, IRSVM 및 NPG는 기존 최신 기술 대비 해의 정확도와 속도 면에서 뛰어난 성능을 보였다.
• IRSVM 방법은 해의 정확도가 비슷하거나 더 우수하면서도 NPG 방법보다 略 빠른 속도를 보였다.