[논문 리뷰] Gradient descent with nonconvex constraints: local concavity determines convergence

Rina Foygel Barber, Wooseok Ha|arXiv (Cornell University)|2017. 03. 22.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 국소 비볼록성 계수를 도입하여 비볼록 제약 집합이 볼록성에서 얼마나 떨어져 있는지를 특성화하고, 투영된 경사하강법의 수렴 분석을 가능하게 한다. 이 계수들이 네 가지 기하학적 및 최적성 기반 측정법에서 동치임을 증명하며, 근사 투영 조건 하에서도 선형 수렴을 이끄는 것으로 나타났다. 이는 저질량 및 희소 추정에 적용 가능하다.

ABSTRACT

Many problems in high-dimensional statistics and optimization involve minimization over nonconvex constraints-for instance, a rank constraint for a matrix estimation problem-but little is known about the theoretical properties of such optimization problems for a general nonconvex constraint set. In this paper we study the interplay between the geometric properties of the constraint set and the convergence behavior of gradient descent for minimization over this set. We develop the notion of local concavity coefficients of the constraint set, measuring the extent to which convexity is violated, which govern the behavior of projected gradient descent over this set. We demonstrate the versatility of these concavity coefficients by computing them for a range of problems in low-rank estimation, sparse estimation, and other examples. Through our understanding of the role of these geometric properties in optimization, we then provide a convergence analysis when projections are calculated only approximately, leading to a more efficient method for projected gradient descent in low-rank estimation problems.

연구 동기 및 목표

• 투영된 경사하강법이 비볼록 제약 집합에서 수렴하는 기하 조건을 이해하는 것.
• 비볼록 최적화에서 곡률, 투영 행동, 일阶 최적성 간의 통합된 프레임워크를 개발하는 것.
• 수렴 보장을 유지하면서도 근사 투영을 允허함으로써 계산적으로 효율적인 최적화를 가능하게 하는 것.
• 저질량 행렬 추정 및 비볼록 정규화자(예: SCAD 또는 ℓq)를 사용한 희소 복원과 같은 실용적 문제에 이 이론을 적용하는 것.

제안 방법

• ℓ1 또는 노르름과 같은 구조적 노름에 대해 국소 비볼록성 계수 γx(C)를 비볼록성의 척도로 도입한다.
• 비볼록성의 네 가지 특성화 간의 동치성을 확립한다: 볼록 조합, 일阶 조건, 투영 행동, 곡률.
• 제약 강한 볼록성과 미분 가능성 조건 하에서 근사 투영을 고려한 투영된 경사하강법을 분석한다.
• 정확한 투영으로 초기화한 후 인수분해 갱신으로 전환하는 방식으로 저질량 추정을 위한 효율적인 근사 투영 방법을 제안한다.
• 이중 노름 구조를 사용하여 제약 집합의 노름 기반 기하학적 구조와 기울기 단계 간의 상호작용을 정의한다.
• 저질량 행렬 복원 문제에서 방법을 실증적으로 검증하며, 한 번의 정확한 투영 단계가 이후의 효율적 갱신을 가능하게 함을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 제약 집합의 기하적 성질이 투영된 경사하강법의 수렴에 어떻게 영향을 미치는가?
• RQ2 국소 비볼록성 계수가 최적화에서 다양한 비볼록성 개념을 통합할 수 있는가?
• RQ3 불완전한 투영을 사용하는 투영된 경사하강법이 여전히 선형으로 수렴하는 조건은 무엇인가?
• RQ4 비볼록 정규화자(예: SCAD 또는 ℓq)를 사용한 제약 최적화와 펜라티드 최적화는 어떻게 비교되는가?
• RQ5 정확한 투영의 계산 비용을 낮추되 수렴 성능을 유지할 수 있는가?

주요 결과

• 국소 비볼록성 계수 γx(C)는 비볼록성의 네 가지 별개의 특성화에서 동치이며, 통합된 기하 측도를 제공한다.
• 국소 비볼록성 계수가 유계인 이웃 영역에 초기화된 경우, 근사 투영을 사용하는 투영된 경사하강법은 전역 최소화점으로 선형 수렴한다.
• 저질량 추정의 경우, 한 번의 정확한 투영 후 인수분해 기반 경사하강법을 사용하면 전체 투영된 경사하강법과 유사한 성능을 달성한다.
• 손실 값이 급격히 감소하며, 투영된 경사하강법이 가장 급격한 초반 수렴을 보이고, 근사 및 인수분해 방법도 빠르게 따라잡는다.
• 실증 결과에 따르면, 한 번의 초기 정확한 투영만으로도 이후의 근사 또는 인수분해 방법이 전체 투영된 경사하강법의 성능을 따라잡을 수 있다.
• 이 프레임워크는 저질량 행렬, 희소 벡터, 기타 비볼록 기하학을 가진 구조적 집합을 포함해 광범위하게 비볼록 제약에 적용 가능하다.