[논문 리뷰] Cutting plane oracles for non-smooth trust-regions

Dominikus Noll|arXiv (Cornell University)|2019. 05. 16.

Advanced Optimization Algorithms Research참고 문헌 38인용 수 4

한 줄 요약

이 논문은 네 가지 기본 규칙을 만족하는 커팅 플레인 오라클을 사용하여 비미분 가능 신뢰영역 방법의 통합 수렴 프레임워크를 제안한다. 엄격한 모델 조건을 설정하고 이전 가정을 초월하여 수렴 이론을 확장함으로써, 예를 들어 하향 이동 탄젠트 방법과 분할 기법을 포함한 광범위한 방법군에 대해 임계점으로의 전역 수렴을 증명한다. 이는 이전에 필요로 했던 양의 정부호 이阶 도함수 항의 필요성과 같은 제약 조건을 초월한다.

ABSTRACT

We prove global convergence of a bundle trust region algorithm for non-smooth non-convex optimization, where cutting planes are generated by oracles respecting four basic rules. The benefit is that convergence theory applies to a large variety of methods encountered in practice. This includes in particular the method of downshifted tangents, for which previously no convergence result in the trust region framework was known. We also show that certain splitting techniques can be seen as special cases of bundle trust region techniques.

연구 동기 및 목표

• 일반적인 커팅 플레인 오라클 클래스를 사용하여 비미분 가능 신뢰영역 알고리즘의 전역 수렴을 확립하는 것.
• 볼록 번들 방법에서 사용하는 집합 기법이 비볼록 신뢰영역 설정으로 확장 가능한지에 대한 열린 질문을 해결하는 것.
• 이전에 신뢰영역 프레임워크 내에서 수렴 증명이 없었던 하향 이동 탄젠트 방법이 제안된 프레임워크에 포함됨을 보여주는 것.
• 기존 오라클 기반 프레임워크의 특수한 경우로 고전적 신뢰영역 방법과 분할 기법(예: 전진-뒤로 스플리팅)이 포함됨을 보여주는 것.
• 이전 수렴 증명에서 요구된 양의 정부호 이阶 도함수 항의 가정이 필수적이며 제거될 수 없음을 증명하는 것.

제안 방법

• 이 방법은 시험점에서의 탄젠트 또는 하위미분을 통해 목적함수의 국소 모델을 생성하는 커팅 플레인 오라클을 사용한다.
• 수렴을 보장하기 위해 오라클에 대한 네 가지 기본 규칙을 정의하며, 목적함수의 하위미분과의 일致성 및 적절한 모델 구성 포함.
• 신뢰영역 알고리즘은 실패한(널) 단계에서 얻은 커팅 플레인을 누적하여 작업 모델을 개선하고 다음 심각한 반복점으로 유도한다.
• 수렴을 위해 엄격한 모델이 필요하며, 이는 현재 반복점 근처에서 목적함수를 충분히 정확하게 근사하는 모델로 정의된다.
• 이 프레임워크는 모델 기반 오라클과 모든 탄젠트 오라클을 모두 허용하며, 이는 이웃 영역 내 모든 하위미분을 포함함으로써 강건성을 확보한다.
• 모든 심각한 반복점의 집적점이 0 ∈ ∂f(x*) + N_C(x*) 조건을 만족하는 임계점임을 보여줌으로써 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 일반적인 커팅 플레인 오라클 클래스를 사용하여 비미분 가능 신뢰영역 방법의 전역 수렴을 확립할 수 있는가?
• RQ2 하향 이동 탄젠트 방법은 신뢰영역 프레임워크 내에서 전역 수렴하는가? 그리고 제안된 오라클 규칙을 만족하는가?
• RQ3 볼록 번들 방법에서 사용하는 집합 기법을 추가 가정 없이 비볼록 신뢰영역 설정으로 확장할 수 있는가?
• RQ4 이전 수렴 증명에서 요구된 양의 정부호 이阶 도함수 항의 가정은 필수적인가, 아니면 제거할 수 있는가?
• RQ5 고전적 신뢰영역 방법과 전진-뒤로 스플리팅과 같은 분할 기법은 제안된 오라클 기반 프레임워크의 특수한 경우인가?

주요 결과

• 네 가지 정의된 규칙을 만족하는 커팅 플레인 오라클을 사용하는 모든 신뢰영역 알고리즘에 대해 전역 수렴이 증명되었으며, 모든 집적점이 임계점임을 보장한다.
• 하향 이동 탄젠트 방법이 신뢰영역 프레임워크 내에서 공식적으로 전역 수렴함이 입증되어 이전에 열려 있던 질문이 해결되었다.
• 볼록 번들 방법에서 사용하는 집합 기법은 엄격한 모델 조건 하에서 비볼록 신뢰영역 설정으로 확장 가능하며, 이는 조건이 충족될 경우에만 성립한다.
• 이전 수렴 증명에서 요구된 양의 정부호 이阶 도함수 항의 가정은 필수적이며 제거될 수 없음을 입증하였다.
• 고전적 신뢰영역 방법과 전진-뒤로 스플리팅은 제안된 프레임워크의 특수한 경우로 나타나며, 이는 오라클의 엄격성에 따라 수렴 여부가 달라진다.
• 모든 탄젠트 오라클(이웃 영역 내 모든 하위미분 포함)은 전역 수렴을 보장하며, 많은 기존 방법들을 하나의 이론적 틀 안에 통합한다.