[논문 리뷰] The value function approach to convergence analysis in composite optimization

Edouard Pauwels|arXiv (Cornell University)|2016. 04. 06.

Advanced Optimization Algorithms Research참고 문헌 23인용 수 20

한 줄 요약

이 논문은 날카로움 조건 하에서 값 함수 접근법을 사용하여 복합 가우스-뉴턴 방법의 백트래킹 변종에 대한 전역 수렴 분석을 제시한다. 미세한 기하 조건 하에서 비연속 히르쉐-로자예프스키(Kurdyka-Łojasiewicz, KL) 부등식을 활용하여 정의 가능한 함수에 대해 비볼록, 비연속 복합 최적화 문제에 대해 적용 가능한 탄력적이고 검증 가능한 프레임워크를 제공하며, 임계점으로의 수렴을 확립한다.

ABSTRACT

This works aims at understanding further convergence properties of first order local search methods with complex geometries. We focus on the composite optimization model which unifies within a simple formalism many problems of this type. We provide a general convergence analysis of the composite Gauss-Newton method under tameness assumptions (an extension of semi-algebraicity). Tameness is a very general condition satisfied by virtually all problems solved in practice. The analysis is based on recent progresses in understanding convergence properties of sequential convex programming methods through the value function.

연구 동기 및 목표

• 복합 비볼록 최적화 문제에서 복잡한 기하학적 특성을 지닌 1차 방법에 대해 유연하고 전역적으로 적용 가능한 수렴 보장을 제공하지 못하는 문제를 해결한다.
• 수렴점 주변의 강력한 국소 성장 조건에 의존하는 것에서 벗어나, 실무에서 자주 검증하기 어려운 조건을 피한다.
• 이전의 순차적 볼록 프로그래밍 작업을 확장하여 복합 가우스-뉴턴 방법에 대한 일반적인 수렴 분석을 제공한다.
• 지속적으로 국소 리프시츠 연속 기울기를 갖는 함수를 다룰 수 있도록 일반적인 백트래킹 선 탐색을 분석에 통합한다.
• 타이드 조건(오-미니멀 구조에서의 정의 가능성)을 통해 KL 부등식이 성립하고 기이한 행동(예: 극심한 진동)을 배제함으로써, 분석의 타당성을 보장한다.

제안 방법

• F: ℝⁿ → ℝᵐ가 𝒞²이고, g: ℝᵐ → ℝ이 볼록이고 유한값을 가지며, D ⊂ ℝⁿ이 닫힘과 볼록임을 가정하여 복합 최적화 문제를 g(F(x))의 최소화로 공식화한다.
• 스텝 사이즈 매개변수 μₖ가 충분한 감소 조건을 만족할 때까지 점진적으로 증가하는 백트래킹 변종의 복합 가우스-뉴턴 방법을 적용한다.
• 값 함수 Vₘ(x) = min_{y ∈ D} g(F(x) + ∇F(x)(y - x)) + (μ/2)‖y - x‖²를 정의하여 문제의 국소 2차 근사화를 압축한다.
• 비연속 히르쉐-로자예프스키(Kurdyka-Łojasiewicz, KL) 부등식을 값 함수에 적용하여 목적 함수의 감소를 통제하고 수렴을 보장한다.
• φ(Vₘ(xₖ)) 형태의 리아푸노프 유형 함수를 사용하며, 여기서 φ는 볼록이고 미분 가능하여, 값 함수의 감소와 스텝 사이즈, 하위미분 노름 사이의 내림함수 부등식을 유도한다.
• 수열 {xₖ}가 수렴점 주변의 이웃에서 유계이고 코시임을 증명하며, ‖xₖ₊₁ - xₖ‖의 합계가 수렴함을 이용하여 반복값의 수렴을 이끌어낸다.

실험 결과

연구 질문

• RQ1 강력한 국소 성장 조건이 요구되지 않는 조건 하에서 복합 가우스-뉴턴 방법에 대해 전역 수렴 보장을 확립할 수 있는가?
• RQ2 값 함수 프레임워크는 복합 비볼록 최적화 문제에서 백트래킹 선 탐색을 어떻게 확장할 수 있는가?
• RQ3 타이드 조건(오-미니멀 구조에서의 정의 가능성)이 분석의 수렴성에 있어 KL 부등식의 타당성을 어느 정도 보장하는가?
• RQ4 지속적으로 국소 리프시츠 연속 기울기를 갖는 함수를 포함하도록 수렴 분석을 충분히 탄력적으로 만들 수 있는가?
• RQ5 백트래킹 가우스-뉴턴 방법의 반복값이 복합 문제의 임계점으로 수렴하기 위한 조건은 무엇인가?

주요 결과

• 제안된 백트래킹 복합 가우스-뉴턴 방법은 날카로움 조건 하에서 복합 최적화 문제의 임계점으로 전역 수렴한다.
• 수렴은 비볼록, 비연속, 복잡한 구조를 지닌 문제를 강력한 국소 정규성 조건 없이 다룰 수 있는 값 함수 접근법을 통해 확립된다.
• 분석은 정의 가능한 함수에 대해 성립하는 비연속 히르쉐-로자예프스키(Kurdyka-Łojasiewicz, KL) 부등식을 활용하며, 각 반복에서 목적 함수 값이 충분히 감소함을 보장한다.
• 수열 {xₖ}가 수렴점 주변의 이웃에서 코시임을 보여주며, 이는 반복값이 프록시멀 맵의 고정점으로 수렴함을 의미한다.
• 스텝 사이즈 매개변수 μₖ는 큰 k에 대해 유계이고, ∑‖xₖ₊₁ - xₖ‖의 급수는 수렴하며, 이는 반복값의 수렴을 증명하는 데 핵심적이다.
• 이 방법은 국소 리프시츠 연속 기울기를 갖는 함수에 대해 강건하며, 강력한 볼록성이나 날카로움 가정이 필요 없어 다양한 실용적 문제에 적용 가능하다.