[논문 리뷰] Alternating minimization and projection methods for nonconvex problems

Hédy Attouch, Jérôme Bolte외 2명|arXiv (Cornell University)|2008. 01. 11.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 f(x) + Q(x,y) + g(y) 형태의 비볼록 최적화 문제를 위한 교대 최소화 알고리즘을 제안하고 분석한다. 여기서 f와 g는 하부 연속이며 Q는 미세하게 연속이다. 미세한 조건 하에서 임계점으로의 수렴을 확립하며, 이는 비볼록 환경으로의 프록시멀 방법의 확장으로, 반복값과 목적함수 값에 대한 이론적 보장을 제공한다.

ABSTRACT

Abstract We study the convergence properties of alternating proximal minimization algorithms for (nonconvex) functions of the following type: L(x,y) = f(x) + Q(x,y) + g(y) where f: R n → R∪{+∞} and g: R m → R∪{+∞} are proper lower semicontinuous functions and Q: R n ×R m → R is a smooth C 1 (finite valued) function which couples the variables x and y. The algorithm is defined by: (x0, y0) ∈ R n × R m given, (xk, yk) → (xk+1, yk) → (xk+1, yk+1)

연구 동기 및 목표

• 결합된 변수를 포함한 비볼록 최적화 문제에 대한 교대 프록시멀 최소화 알고리즘을 개발하고 분석하는 것.
• f, g, Q에 대한 미약한 가정 하에서 반복값과 목적함수 값이 임계점으로 수렴함을 확립하는 것.
• 부드러운 결합 항을 가진 비볼록 함수로까지 프록시멀 방법을 확장하여 수렴 보장을 유지하는 것.
• 기계학습 및 신호 처리에서 발생하는 비볼록 문제의 일군에 대해 이론적 수렴 보장을 제공하는 것.

제안 방법

• 알고리즘은 y를 고정한 채로 L(x,y)를 x에 대해 최소화하고, 그 다음 x를 고정한 채로 y에 대해 최소화하는 방식으로 번갈아가며 수행된다.
• f(x)와 g(y)에 대해 프록시멀 유사 업데이트를 사용하며, 각 단계에서 부드러운 결합 항 Q(x,y)를 통합한다.
• 이중 단계 반복을 통해 정의된다: (x^k, y^k) → (x^{k+1}, y^k) → (x^{k+1}, y^{k+1})
• 수렴 분석은 Kurdyka–Łojasiewicz (KL) 부등식과 f, g의 하부 연속성에 기반한다.
• Q의 부드러움은 잘 정의된 그래디언트를 보장하며 내림내림 행동 분석을 용이하게 한다.
• f, g, Q에 대한 표준 가정 하에서 알고리즘에 의해 생성된 수열에 대해 이론적 수렴이 확립된다.

실험 결과

연구 질문

• RQ1 형태가 L(x,y) = f(x) + Q(x,y) + g(y)인 비볼록 문제에 대해 교대 최소화 알고리즘이 임계점으로 수렴하는가?
• RQ2 f, g, Q에 어떤 조건이 성립하면 반복값과 목적함수 값이 수렴하는가?
• RQ3 부드러운 결합 항을 가진 비볼록 문제로 프록시멀 방법을 확장하면서도 수렴 보장을 유지할 수 있는가?
• RQ4 Kurdyka–Łojasiewicz 부등식은 이 비볼록 환경에서 수렴 분석에 어떻게 기여하는가?
• RQ5 알고리즘이 생성한 반복값을 따라 목적함수 값의 순서는 어떻게 행동하는가?

주요 결과

• f, g, Q에 대한 미약한 가정 하에서 알고리즘이 비볼록 함수 L(x,y)의 임계점으로 수렴한다.
• 목적함수 값의 수열 {L(x^k, y^k)}은 감소하며 유한한 극한으로 수렴한다.
• Kurdyka–Łojasiewicz 부등식이 성립할 경우 반복값 (x^k, y^k)은 L의 임계점으로 수렴한다.
• f 또는 g의 볼록성 조건을 요구하지 않으며, 하부 연속성과 적절성만 요구된다.
• Q의 부드러움은 그래디언트 기반 업데이트가 잘 정의되고 내림내림 행동에 기여함을 보장한다.
• 분석은 기계학습 및 신호 처리에서 발생하는 광범위한 비볼록 문제 클래스에 적용 가능하다.