[논문 리뷰] BFGS convergence to nonsmooth minimizers of convex functions

Jiayi Guo, Adrian S. Lewis|arXiv (Cornell University)|2017. 03. 20.

Advanced Optimization Algorithms Research참고 문헌 10인용 수 4

한 줄 요약

이 논문은 부드럽지 않은 볼록 함수에 대해 BFGS 준뉴턴 방법의 전역 수렴성을 미약한 정규성 조건 하에 확립한다. 이는 목적 함수가 해에서 미분 가능하지 않더라도 BFGS 수렴 수열이 최소화점을 햖을 수 있음을 보여준다. 핵심 기여는 수렴 실패가 반복점이 부드럽지 않은 점에 접근할 경우에만 발생할 수 있으며, 이는 유클리드 노름과 $f(u,v) = u^2 + |v|$와 같은 중요한 경우에서 수렴을 보장하는 데에 충분하다는 것이다. 분석은 $C^2$ 근사 근처의 하위레벨 집합 기반 국소화 추론을 사용하여 폴의 고전적 부드러운 수렴 결과를 부드럽지 않은 설정으로 확장한다.

ABSTRACT

The popular BFGS quasi-Newton minimization algorithm under reasonable conditions converges globally on smooth convex functions. This result was proved by Powell in 1976: we consider its implications for functions that are not smooth. In particular, an analogous convergence result holds for functions, like the Euclidean norm, that are nonsmooth at the minimizer.

연구 동기 및 목표

• 부드러운 볼록 함수에 대해 폴의 BFGS 전역 수렴 결과를 부드럽지 않은 경우로 확장하기.
• 이론적 지원이 제한적인 데도 불구하고 BFGS가 부드럽지 않은 문제에서 실용적으로 잘 작동하는 이유를 설명하기.
• 목적 함수가 해에서 미분 가능하지 않더라도 BFGS 수열이 최소화점으로 수렴해야 하는 조건을 설정하기.
• 유클리드 노름과 $f(u,v) = u^2 + |v|$와 같은 특정 부드럽지 않은 함수에 대해 국소 $C^2$ 근사를 사용하여 수렴을 증명하기.
• BFGS 반복점이 부드럽지 않은 점에서 일정하게 떨어져 있을 수 없음을 보여주어 알고리즘이 비부드러움을 감지함을 의미하기.

제안 방법

• Armijo와 약한 Wolfe 선 검색 조건을 만족하고 BFGS 공식을 사용해 헤시안 근사치를 갱신하는 준뉴턴 업데이트를 사용하는 BFGS 수열을 정의한다.
• BFGS 업데이트 규칙을 사용: $ H_{k+1} = V_k H_k V_k^T + \frac{s_k s_k^T}{s_k^T y_k} $, 여기서 $ V_k = I - \frac{s_k y_k^T}{s_k^T y_k} $이며, 양의 정부호성과 내림함수 성질을 보장한다.
• 하위레벨 집합의 이웃에서 원래의 부드럽지 않은 함수 $f$에 대해 국소 $C^2$ 볼록 근사 $f_\delta$ 를 도입하며, $f(x) \geq \min f + \delta$ 인 곳에서 $f$와 일치시킨다.
• Powell의 원래 수렴 정리를 $C^2$ 근사 $f_\delta$ 에 적용하여, BFGS 수열이 최소화점에서 멀어지면 $f_\delta$ 가 그 최소값으로 수렴한다는 것과 모순이 된다는 것을 보인다.
• 모순 추론을 사용: BFGS 반복점이 최소화점에서 일정하게 떨어져 있다면, $C^2$ 근사 $f_\delta$ 는 $\min f$ 이하의 값으로 수렴해야 하는데, 이는 불가능하다.
• 유클리드 노름과 $f(u,v) = u^2 + |v|$ 에 대해 직접적인 $C^2$ 근사 $g_\delta(t)$ 를 구성함으로써 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 부드럽지 않은 볼록 함수의 최소화점으로 BFGS 방법이 전역 수렴할 수 있는가, 특히 해에서 함수가 미분 가능하지 않더라도 말이다?
• RQ2 부드럽지 않은 경우에서 BFGS 방법이 최적점이 아닌 점으로 수렴하는 것을 피할 수 있는 조건은 무엇인가?
• RQ3 근사 기법을 사용하여 폴의 부드러운 볼록 함수에 대한 고전적 수렴 결과를 부드럽지 않은 볼록 함수로 확장할 수 있는가?
• RQ4 BFGS 방법은 비부드러운 최소화점, 예를 들어 $f(u,v) = u^2 + |v|$ 에서의 원점과 같이 비부드러운 최소화점으로 감지하고 수렴할 수 있는가?
• RQ5 유클리드 노름은 $\mathbb{R}^n$ 에서 비부드럽지 않기 때문에 BFGS를 사용해도 수렴을 보장할 수 있는가?

주요 결과

• $f(u,v) = u^2 + |v|$ 에 대해 BFGS 수열은 부드럽지 않은 점인 $v = 0$ 선으로 수렴하는 부분수열을 가져야 한다.
• 유클리드 노름은 $\mathbb{R}^n$ 에서 어떤 BFGS 수열도 전역적으로 영으로 수렴한다. 이는 유일한 최소화점이다.
• BFGS 방법은 비부드러운 점들의 집합에서 일정하게 떨어져 있을 수 없다. 만약 이를 피한다면 최소화점으로의 수렴에 실패한다.
• 하위레벨 집합의 $\delta$-이웃에서 외부에서 $f$ 와 일치하는 $C^2$ 볼록 근사 $f_\delta$ 를 구성하면 폴의 부드러운 수렴 정리 적용이 가능하다.
• $f(u,v) = u^2 + |v|$ 에 대해 수치적 증거는 수렴이 영으로 이루어지며 강력하게 지지하지만, 이는 아직 열린 추측이다.
• 결과는 BFGS가 비부드러움을 효과적으로 감지함을 시사한다. 비부드러운 최소화점이면 최적점이 아닌 점으로 수렴할 수 없다.