[논문 리뷰] Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|2014. 01. 05.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 12

한 줄 요약

이 논문은 폐쇄형 부분문제 해법과 명시적 클라크 미분계수 계산을 피하는 새로운 수렴 분석을 활용하여 슈바르츠-$p$ 준노름 정규화 행렬 최적화를 위한 반복 가중치 특이값 최소화(IRSVM) 방법을 제안한다. 모든 국소 최소화점이 제1차 정류점임을 입증하고, 수열이 이러한 점으로 수렴함을 보이며, 계산 결과는 최신 기법들보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper we study general Schatten-$p$ quasi-norm (SPQN) regularized matrix minimization problems. In particular, we first introduce a class of first-order stationary points for them, and show that the first-order stationary points introduced in [11] for an SPQN regularized $vector$ minimization problem are equivalent to those of an SPQN regularized $matrix$ minimization reformulation. We also show that any local minimizer of the SPQN regularized matrix minimization problems must be a first-order stationary point. Moreover, we derive lower bounds for nonzero singular values of the first-order stationary points and hence also of the local minimizers of the SPQN regularized matrix minimization problems. The iterative reweighted singular value minimization (IRSVM) methods are then proposed to solve these problems, whose subproblems are shown to have a closed-form solution. In contrast to the analogous methods for the SPQN regularized $vector$ minimization problems, the convergence analysis of these methods is significantly more challenging. We develop a novel approach to establishing the convergence of these methods, which makes use of the expression of a specific solution of their subproblems and avoids the intricate issue of finding the explicit expression for the Clarke subdifferential of the objective of their subproblems. In particular, we show that any accumulation point of the sequence generated by the IRSVM methods is a first-order stationary point of the problems. Our computational results demonstrate that the IRSVM methods generally outperform some recently developed state-of-the-art methods in terms of solution quality and/or speed.

연구 동기 및 목표

• 비볼록이면서 최적화가 어려운 슈바르츠-$p$ 준노름 정규화 행렬 최소화 문제를 해결하는 데 도전하는 것.
• 행렬 기반 SPQN 문제에 대한 제1차 정류점의 정의와 분석을 통해 벡터 기반 공식화와의 일致를 보장하는 것.
• 효율적인 계산을 위한 폐쇄형 부분문제를 갖는 반복 가중치 특이값 최소화(IRSVM) 알고리즘을 개발하는 것.
• 부분문제의 미분계수 계산이 복잡한 상황에서도 IRSVM 방법이 제1차 정류점으로 수렴함을 입증하는 것.
• 실증적으로 IRSVM이 기존 최신 기법들보다 해의 품질과 계산 속도 면에서 뛰어나다는 것을 보여주는 것.

제안 방법

• 슈바르츠-$p$ 준노름 정규화 행렬 최소화 문제에 대한 제1차 정류점의 클래스를 제안한다.
• 제1차 정류점과 국소 최소화점의 비영 특이값에 대한 하한을 유도한다.
• 각 부분문제가 특이값 임계처리를 통해 폐쇄형으로 해결되는 IRSVM 알고리즘을 도입한다.
• 부분문제의 명시적 해 구조에 기반하여 클라크 미분계수를 직접 계산하지 않는 새로운 수렴 분석을 개발한다.
• 특정 부분문제 해의 표현을 이용하여 IRSVM 수열의 임의의 집적점이 제1차 정류점임을 증명한다.
• 반복적으로 특이값을 정밀화하는 리워팅 전략을 적용하여 저질서 해를 촉진한다.

실험 결과

연구 질문

• RQ1 슈바르츠-$p$ 준노름 정규화 행렬 최소화 문제에 대한 제1차 정류점은 무엇이며, 이는 벡터 기반 공식화와 어떻게 관련이 있는가?
• RQ2 부분문제의 미분계수 계산이 비가역적인 상황에서 반복 가중치 방법의 수렴을 어떻게 확립할 수 있는가?
• RQ3 제1차 정류점과 국소 최소화점의 비영 특이값에 대해 유도할 수 있는 하한은 무엇인가?
• RQ4 폐쇄형 부분문제를 갖는 IRSVM 방법은 기존 최신 기법들보다 더 뛰어난 해의 품질과 속도를 달성할 수 있는가?
• RQ5 부분문제 해의 어떤 구조적 성질이 명시적 클라크 미분계수 표현 없이도 새로운 수렴 증명을 가능하게 하는가?

주요 결과

• 슈바르츠-$p$ 준노름 정규화 행렬 최소화 문제의 모든 국소 최소화점은 제1차 정류점이다.
• 행렬 문제의 제1차 정류점은 해당되는 벡터 재구성 문제의 제1차 정류점과 동치이다.
• 제1차 정류점과 국소 최소화점의 비영 특이값은 문제 파라미터에 따라 의존하는 양의 하한값으로 제한된다.
• IRSVM 방법은 그 수열의 집적점이 반드시 제1차 정류점임을 보장한다.
• 부분문제의 폐쇄형 해 구조를 활용하여 클라크 미분계수의 직접 계산을 피함으로써 수렴 분석을 수행한다.
• 계산 결과는 IRSVM 방법이 최근 최신 기법들보다 해의 품질과 계산 속도 면에서 뛰어나다는 것을 보여준다.