[논문 리뷰] A stroll in the jungle of error bounds

Trong Phong Nguyen|arXiv (Cornell University)|2017. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 3

한 줄 요약

이 논문은 루자예비치 기울기 부등식의 중심적 역할을 규명함으로써 최적화에서 오차 한계의 통합적 프레임워크를 제공한다. 볼록 및 비볼록 다항함수에 대한 전역 및 국소 오차 한계를 특성화하고, 수렴 속도 분석 및 최적화 알고리즘의 복잡도 이론에 핵심적인 힐더 유형의 오차 한계를 도출한다.

ABSTRACT

The aim of this paper is to give a short overview on error bounds and to provide the first bricks of a unified theory. Inspired by the works of [8, 15, 13, 16, 10], we show indeed the centrality of the Lojasiewicz gradient inequality. For this, we review some necessary and sufficient conditions for global/local error bounds, both in the convex and nonconvex case. We also recall some results on quantitative error bounds which play a major role in convergence rate analysis and complexity theory of many optimization methods.

연구 동기 및 목표

• 루자예비치 기울기 부등식을 중심으로 삼음으로써 볼록 및 비볼록 최적화에서 오차 한계의 통합 이론적 기반을 구축하는 것.
• 볼록 및 비볼록 설정에서 전역 및 국소 오차 한계에 대한 필수 및 충분 조건을 특성화하는 것.
• 특히 힐더 유형의 오차 한계를 도출하기 위해 다항함수 및 조각별 볼록 다항함수에 대한 정량적 오차 한계를 도출하는 것.
• 오차 한계를 커르다카–루자예비치 부등식 및 내림내림 방법의 복잡도 분석과 연결하는 것.
• 클래식한 결과들(예: 호프만, 루자예비치)을 비미분 가능하고 비볼록 시스템을 포함한 더 넓은 함수 클래스로 확장하는 것.

제안 방법

• 메트릭 공간에서 오차 한계를 특성화하기 위해 루자예비치 기울기 부등식을 통합 원리로 사용한다.
• 아제와 코르벨레의 강한 기울기 이론 결과를 응용하여 일반 바나흐 공간에서의 오차 한계 특성화를 도출한다.
• 함수의 하위해석적 및 준대수기하학적 구조를 활용하여 루자예비치 유형의 부등식을 통해 정량적 오차 한계를 확립한다.
• 차수에 따라 달라지는 지수를 사용하여 볼록 및 조각별 볼록 다항함수에 대해 힐더 유형의 오차 한계를 유도한다.
• 퇴적 원뿔 조건과 컴팩트니스 추론을 활용하여 전역 오차 한계를 제약 집합으로 확장한다.
• 볼록 다항함수의 최대값과 그 퇴적 행동을 이용하여 약한 조건 하에서도 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 루자예비치 기울기 부등식은 볼록 및 비볼록 최적화 간의 오차 한계 이론을 어떻게 통합할 수 있는가?
• RQ2 강한 기울기와 메트릭 하위정규성에 기반해 전역 또는 국소 오차 한계에 대한 필수 및 충분 조건은 무엇인가?
• RQ3 차수 d인 볼록 다항함수에 대해 정량적 오차 한계의 정확한 형태는 무엇인가?
• RQ4 특히 슬레이터 조건이 없을 경우, 볼록 다항부등식 시스템에 대해 전역 오차 한계가 성립하는 조건은 무엇인가?
• RQ5 조각별 볼록 다항함수의 오차 한계는 기저가 되는 다면체 분할의 구조와 함수 차수에 따라 어떻게 달라지는가?

주요 결과

• 차수 d인 볼록 다항함수 f에 대해, τ > 0 가 존재하여 dist(x, [f ≤ 0]) ≤ τ([f(x)]₊ + [f(x)]₊¹ᐟᵏ(ⁿ,ᵈ)) 를 만족한다. 여기서 k(n,d)는 차원과 차수의 함수이다.
• 강제성 또는 볼록성 조건을 만족하는 차수 d인 조각별 볼록 다항함수 f에 대해, 동일한 힐더 유형의 오차 한계가 전역적으로 성립한다.
• 볼록 2차 함수 시스템에 대해서는 슬레이터 조건 없이도 전역 오차 한계가 지수 1/2로 존재하며, 팽과 왕이 이를 보였다.
• 볼록 다항함수 시스템 f가 차수 d인 볼록 다각형 집합 K 위에 존재하고, 퇴적 원뿔 조건이 성립한다면, x ∈ K 에 대해 dist(x,S) ≤ c([f(x)]₊ + [f(x)]₊¹ᐟᵏ(ⁿ,²ᵈ)) 가 성립한다.
• 리 [44]와 양 [73]의 결과는 볼록 다항함수의 경우 지수를 1/d로 개선할 수 있음을 보여주며, 더 날카로운 오차 한계를 제공한다.
• 오차 한계와 커르다카–루자예비치 부등식 간의 연결 고리가 명시화되어, 오차 한계 지수를 통해 내림내림 방법의 복잡도 분석이 가능해진다.