[논문 리뷰] On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces

Yunier Bello-Cruz, Welington de Oliveira|arXiv (Cornell University)|2014. 02. 24.

Optimization and Variational Analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 실 힐버트 공간에서 볼록 최적화 문제에 대해, 기존의 리프시츠 연속성 조건보다 더 약한 조건—즉, 가오허 도함수의 균일 연속성—하에 프로젝션 경사하강법과 아르미조 선 탐색의 약한 수렴성을 확립한다. 또한 기울기의 전역 리프시츠 연속성이 필요 없이, 해 집합 내에서 가장 가까운 해로의 강한 수렴을 보장하는 수정된 변종을 제안한다.

ABSTRACT

This work focuses on convergence analysis of the projected gradient method for solving constrained convex minimization problem in Hilbert spaces. We show that the sequence of points generated by the method employing the Armijo linesearch converges weakly to a solution of the considered convex optimization problem. Weak convergence is established by assuming convexity and Gateaux differentiability of the objective function, whose Gateaux derivative is supposed to be uniformly continuous on bounded sets. Furthermore, we propose some modifications in the classical projected gradient method in order to obtain strong convergence. The new variant has the following desirable properties: the sequence of generated points is entirely contained in a ball with diameter equal to the distance between the initial point and the solution set, and the whole sequence converges strongly to the solution of the problem that lies closest to the initial iterate. Convergence analysis of both methods is presented without Lipschitz continuity assumption.

연구 동기 및 목표

• 힐버트 공간 내 볼록 최소화 문제에 대해 아르미조 선 탐색을 동반한 프로젝션 경사하강법의 약한 수렴성을 분석한다.
• 기울기의 표준 리프시츠 연속성 조건을 약화시켜, 유계 집합에서의 균일 연속성 조건으로만 가정한다.
• 해 집합 내에서 초기점에 가장 가까운 해로의 강한 수렴을 보장하는 프로젝션 경사하강법의 새로운 변종을 제안한다.
• 기울기의 전역 리프시츠 연속성이 필요 없이 수렴 결과를 확립함으로써, 고전적 가정을 개선한다.

제안 방법

• 고정 또는 작은 스텝 사이즈를 피하기 위해, 가용 방향을 따라 아르미조 선 탐색을 사용하여 동적 스텝 사이즈를 선택한다.
• 각 반복점이 현재 점과 가용 집합 위로의 사영의 볼록 조합이 되도록 수정된 반복 체계를 적용한다.
• 시퀀스가 초기점에서 해 집합까지의 거리와 동일한 지름을 갖는 구 안에 머무르도록 보장하는 새로운 알고리즘(알고리즘 A2)을 도입한다.
• 해 집합 위로의 초기점의 사영인 $ x_* = P_{S_*}(x^0) $를 사용하여, 수열의 강한 극한으로서의 역할을 한다.
• 약한 클러스터 점 분석과 노름 수렴 증명을 통해, $ \nabla f $의 균일 연속성 하에 강한 수렴을 입증한다.
• 볼록 해석학과 힐버트 공간 이론의 결과를 적용하며, 사영과 반사 공간 내 약한 수렴의 성질을 활용한다.

실험 결과

연구 질문

• RQ1 가용 방향을 따라 아르미조 선 탐색을 사용하는 프로젝션 경사하강법이 힐버트 공간에서 어떤 조건 하에 약하게 수렴하는가?
• RQ2 기울기의 전역 리프시츠 연속성이 가정되지 않은 상황에서도 강한 수렴을 달성할 수 있는가?
• RQ3 고전적 프로젝션 경사하강법에 어떤 수정을 가해야 해 집합 내에서 가장 가까운 해로의 강한 수렴을 보장할 수 있는가?
• RQ4 유계 집합에서의 기울기의 균일 연속성과 리프시츠 연속성 간의 수렴 보장 조건을 비교하면 어떻게 되는가?
• RQ5 제안된 강한 수렴 성질을 갖는 변종에서 반복점의 시퀀스는 어떤 기하적 성질을 만족하는가?

주요 결과

• 볼록성과 가오허 도함수의 균일 연속성 조건 하에, 가용 방향을 따라 아르미조 선 탐색을 사용하는 프로젝션 경사하강법은 볼록 최적화 문제의 해로 약하게 수렴한다.
• 이 방법으로 생성된 시퀀스는 유계이며, $ \|x^{k+1} - x^k\| \to 0 $를 만족하여 반복점의 감소를 나타낸다.
• 제안된 프로젝션 경사하강법의 변종은 초기점에 가장 가까운 해인 $ x_* = P_{S_*}(x^0) $로의 강한 수렴을 보장한다.
• 모든 반복점의 시퀀스는 지름이 $ \|x^0 - x_*\| $와 동일한 닫힌 구 안에 존재하여, 유계성과 기하학적 통제를 보장한다.
• 기울기 $ \nabla f $의 전역 리프시츠 연속성이 필요 없이, 유계 집합에서의 균일 연속성 조건에 기반하여 수렴을 확립한다.
• 기울기 $ \nabla f $가 유계 집합에서 균일 연속일 경우에 강한 수렴 결과가 성립하며, 이는 리프시츠 연속성보다 엄밀히 더 약한 조건이다.