[논문 리뷰] A proximal method for composite minimization

Adrian S. Lewis, Stephen J. Wright|arXiv (Cornell University)|2008. 12. 02.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 19

한 줄 요약

이 논문은 부드러운 사상과 프록스-정규 또는 볼록 함수의 복합 최소화 문제를 위한 프록스 방법을 제안한다. 정규화되고 선형화된 부분문제의 순서를 풀면서, 전역 수렴을 달성하고 해 근처의 활성 다양체를 식별하며, 볼록 및 비볼록 예제에서 유망한 계산 결과를 얻는다.

ABSTRACT

We consider minimization of functions that are compositions of convex or prox-regular functions (possibly extended-valued) with smooth vector functions. A wide variety of important optimization problems fall into this framework. We describe an algorithmic framework based on a subproblem constructed from a linearized approximation to the objective and a regularization term. Properties of local solutions of this subproblem underlie both a global convergence result and an identification property of the active manifold containing the solution of the original problem. Preliminary computational results on both convex and nonconvex examples are promising.

연구 동기 및 목표

• 목적이 부드러운 함수와 가능한 비연속, 프록스-정규 또는 볼록 함수의 복합인 복합 최적화 문제를 다루기.
• 프록스 정규화와 선형화를 활용하여 볼록 및 비볼록 사례를 모두 처리할 수 있는 전역 수렴 알고리즘 개발.
• 알고리즘이 해를 포함하는 활성 다각체를 식별할 수 있는 이론적 조건을 확립하며, 비선형 프로그래밍의 활성집합 개념을 일반화.
• 희소 최적화, 비선형 프로그래밍, 정규화된 최소화 문제에 적용 가능한 통합 프레임워크 제공.
• 변분해석 도구를 사용하여 고전적 프록스 방법을 볼록성 이상으로 확장하고, 프록스-정규 함수로 확장.

제안 방법

• 부분문제를 선형화된 복합 목표함수와 제곱 정규화 항의 합을 최소화하는 방식으로 설정: $\min_d h(c(x) + \nabla c(x)d) + \frac{1}{2}\mu|d|^2$.
• 목표함수의 충분한 감소를 기반으로 정규화 파rameter $\mu$를 적응적으로 조정하기 위해 백트랙킹 선색색색 전략 사용.
• 해 근처에서 부분문제의 국소 해가 존재하고 유일함을 보장하기 위해 프록스-정규성과 부분 평탄성을 활용.
• 부분문제의 행동과 수렴 성질을 분석하기 위해 코도리베이트와 메트릭 정규성을 포함한 변분해석 도구 적용.
• 임계점의 특성을 기술하기 위해 초미분의 연쇄법칙을 활용하며, $\bar{v} \in \partial h(\bar{c}) \cap \text{Null}(\nabla c(\bar{x})^*)$ 를 만족하는 승수 벡터 $\bar{v}$ 가 존재함을 나타냄.
• 다양체 식별 기법 적용: $x$ 가 해 $\bar{x}$ 에 가까울 때, 알고리즘은 $\Phi(d) \in \mathcal{M}$ 를 만족하는 다양체 $\mathcal{M}$ 를 식별하며, 여기서 $\mathcal{M}$ 은 $h$ 의 활성 다양체이다.

실험 결과

연구 질문

• RQ1 프록스 선형화된 부분문제가 최적점 근처에서 유일한 국소 해를 갖는 조건은 무엇인가?
• RQ2 함수 $h$ 가 프록스-정규일 때, 알고리즘이 외부 함수 $h$ 의 활성 다양체를 어떻게 식별할 수 있는가?
• RQ3 비볼록 및 확장된 실수값 설정에서 ProxDescent 알고리즘에 대해 어떤 전역 수렴 보장을 확보할 수 있는가?
• RQ4 알고리즘이 다각형 또는 볼록 케이스를 초월해 활성집합 방법을 어떻게 일반화하는가?
• RQ5 정규화 파arameter $\mu$ 의 적응적 조정이 충분한 감소와 수렴을 어떻게 보장하는가?

주요 결과

• 프록스-정규성 $h$ 와 제약 맵핑의 메트릭 정규성 등의 온건한 가정 하에 알고리즘이 전역 수렴을 달성한다.
• 해 $\bar{x}$ 에 충분히 가까운 $x$ 에 대해, 부분문제의 해 $d$ 는 $\Phi(d) \in \mathcal{M}$ 를 만족하며, 여기서 $\mathcal{M}$ 은 $c(\bar{x})$ 에서 $h$ 의 활성 다양체이므로 활성 다양체 식별이 가능하다.
• 프록스-정규 $h$ 에 대해, $\mu$ 가 충분히 크면 국소 해 $d$ 는 크기가 $O(|x - \bar{x}|)$ 의 크기를 가진다.
• 이 방법은 고전적 프록스 방법을 비볼록 및 확장된 실수값 설정으로 일반화하며, 볼록 분석을 초월한 이론적 보장이 가능하다.
• 볼록 및 비볼록 문제에 대한 초기 계산 결과는 이 방법이 희소 최적화 및 정규화 작업에서 특히 강력하고 효율적임을 보여준다.
• 코도리베이트와 메트릭 정규성 도구를 통해, $h$ 가 볼록이 아니더라도 부분문제의 행동과 수렴성을 엄밀하게 분석할 수 있다.