[논문 리뷰] Alternating minimization and alternating descent over nonconvex sets

Wooseok Ha, Rina Foygel Barber|arXiv (Cornell University)|2017. 09. 13.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 8

한 줄 요약

이 논문은 비볼록 집합 위에서의 교대 최소화와 교대 강하에 대해 국소 볼록성 계수를 도입하여 선형 수렴를 확립한다. 제약 조건이 비볼록일 때도 제한 강볼록성(Restricted Strong Convexity, RSC)과 제한 미분 가능성(Restricted Smoothness, RSM), 그리고 국소 볼록성 계수가 유한할 경우, 초기값이 해에 가까운 경우 정확한 및 비정확한 변형 모두가 선형 수렴함을 증명한다. 이는 저질서 + 희소 분해 및 다중작업 회귀와 같은 구조적 고차원 문제에서 교대 방법의 이론적 근거를 제공한다.

ABSTRACT

We analyze the performance of alternating minimization for loss functions optimized over two variables, where each variable may be restricted to lie in some potentially nonconvex constraint set. This type of setting arises naturally in high-dimensional statistics and signal processing, where the variables often reflect different structures or components within the signals being considered. Our analysis relies on the notion of local concavity coefficients, which has been proposed in Barber and Ha to measure and quantify the concavity of a general nonconvex set. Our results further reveal important distinctions between alternating and non-alternating methods. Since computing the alternating minimization steps may not be tractable for some problems, we also consider an inexact version of the algorithm and provide a set of sufficient conditions to ensure fast convergence of the inexact algorithms. We demonstrate our framework on several examples, including low rank + sparse decomposition and multitask regression, and provide numerical experiments to validate our theoretical results.

연구 동기 및 목표

• 구조적 제약 조건이 있는 비볼록 최적화 문제에 대한 교대 최소화의 수렴성을 분석하는 것.
• 비볼록 환경에서 교대 방법이 비교적 최적화 방법보다 우월한 조건을 확립하는 것.
• 최소화 단계가 근사화된 비정확 알고리즘으로까지 수렴 보장을 확장하는 것.
• 고차원 통계에서 비볼록 구조적 추정 문제를 위한 이론적 프레임워크를 제공하는 것.
• 저질서 + 희소 분해 및 다중작업 회귀 응용을 통해 이론을 검증하는 것.

제안 방법

• 제약 집합의 비볼록성 정도를 측정하기 위해 국소 볼록성 계수를 사용하여 비볼록 분석을 일반화한다.
• 손실 함수에 대해 제한 강볼록성(Restricted Strong Convexity, RSC)과 제한 미분 가능성(Restricted Smoothness, RSM)을 적용하여 유리한 곡률 성질을 확보한다.
• 비정확한 교대 단계에서의 오차를 제어하기 위해 느슨한 삼각부등식을 도입한다.
• 진짜 해와의 거리에 대한 수축 부등식을 x 및 y 변수 모두에 대해 유도한다.
• 초기값이 해에 가까운 경우 정확한 교대 최소화의 선형 수렴을 확립한다.
• 국소 볼록성 계수와 RSC/RSM 조건을 사용하여 하위최적성과 단계 오차를 제한함으로써 결과를 비정확 알고리즘으로 확장한다.

실험 결과

연구 질문

• RQ1 비볼록 집합 위에서 최적화를 수행할 때 교대 최소화가 어떤 조건에서 선형 수렴를 보일 수 있는가?
• RQ2 비볼록 집합의 국소 볼록성 계수가 교대 방법의 수렴에 어떤 영향을 미치는가?
• RQ3 기울기 단계를 사용하는 비정확한 교대 강하가 오차가 유한할 조건 하에서 여전히 선형 수렴를 달성할 수 있는가?
• RQ4 비볼록 환경에서 교대 방법이 통합 최적화 방법보다 이론적으로 어떤 이점을 가지는가?
• RQ5 RSC와 RSM 조건이 비볼록 제약 조건과 어떻게 상호작용하여 수렴을 보장하는가?

주요 결과

• 초기값이 진짜 해에 충분히 가까운 경우 정확한 교대 최소화에서 선형 수렴가 가능하다.
• 수렴 속도는 국소 볼록성 계수와 손실 함수의 RSC/RSM 파라미터에 의존한다.
• 비정확 알고리즘의 경우, 하위최적성과 단계 오차에 따라 상수 배수 이내로 수렴 속도가 유지된다.
• 교대 변수 공간의 더 나은 조건화 덕분에 교대 방법이 비교적 최적화 방법보다 뛰어나다.
• 수치 실험을 통해 저질서 + 희소 분해 및 다중작업 회귀에서 선형 수렴가 확인되었다.
• 이 프레임워크는 비볼록이지만 국소 볼록성 계수가 유한한 저질서 행렬과 같은 비볼록 제약 조건에 적용 가능하다.