[논문 리뷰] Generalized Self-concordant Hessian-barrier algorithms

Pavel Dvurechensky, Mathias Staudigl외 1명|arXiv (Cornell University)|2019. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 2

한 줄 요약

이 논문은 타당 영역의 경계에서 특이성을 가진 비볼록 최적화 문제를 위한 일반화된 자기동조 헤시안 장벽 알고리즘을 제안한다. 일반화된 자기동조 장벽 함수에 의해 유도된 리만 메트릭을 활용함으로써, 이 방법은 근사 정류점으로의 전역 수렴을 보장하고, 자기동조 장벽이 존재할 경우 최적의 반복 복잡도를 달성한다. 이는 비볼록 통계적 추정 및 Lp-최소화 문제에서 효율성을 입증한다.

ABSTRACT

Many problems in statistical learning, imaging, and computer vision involve the optimization of a non-convex objective function with singularities at the boundary of the feasible set. For such challenging instances, we develop a new interior-point technique building on the Hessian-barrier algorithm recently introduced in Bomze, Mertikopoulos, Schachinger and Staudigl, [SIAM J. Opt. 2019 29(3), pp. 2100-2127], where the Riemannian metric is induced by a generalized self-concordant function. This class of functions is sufficiently general to include most of the commonly used barrier functions in the literature of interior point methods. We prove global convergence to an approximate stationary point of the method, and in cases where the feasible set admits an easily computable self-concordant barrier, we verify worst-case optimal iteration complexity of the method. Applications in non-convex statistical estimation and $L^{p}$-minimization are discussed to given the efficiency of the method.

연구 동기 및 목표

• 통계학적 학습, 영상처리 및 컴퓨터 비전에서 흔히 발생하는 경계 특이성이 있는 비볼록, 비미분 가능 최적화 문제의 과제를 다루기.
• Lp-정규화 문제와 같이 비미분 가능성이나 비볼록성으로 인해 실패하는 고전적 1차 방법이 전역 리프시츠 기울기 가정에 의존하는 한계를 극복하기.
• 비볼록성과 부드럽지 않은 성질을 다룰 수 있도록 일반화된 자기동조 장벽 함수 기반의 새로운 내점법을 개발하여 타당성과 수렴성을 유지하기.
• 특히 타당 영역에 자기동조 장벽이 존재할 경우, 약한 가정 하에 전역 수렴성과 최악의 경우 최적 반복 복잡도를 확립하기.
• 표준 방법이 비미분성과 비볼록성으로 인해 실패하는 비볼록 통계적 추정 및 Lp-최소화 문제에서 이 방법의 실용적 효율성을 입증하기.

제안 방법

• 일반화된 자기동조 장벽 함수 h의 헤시안을 이용해 타당 영역 위에 리만 다양체 구조를 구성하고, 최적화를 위한 메트릭을 유도하기.
• 전역 리프시츠 상수에 의존하지 않고도 타당성과 목적 함수의 충분한 감소를 보장하는 스텝 사이즈 전략 설계하기.
• 장벽-복합 목적 함수의 감소가 헤시안 장벽 매개수 ν ∈ (2, 4]를 포함한 함수로 아래에서 유계임을 보장하는 잠재력 감소 프레임워크 활용하기.
• 각 반복에서 충분한 감소를 보장하기 위해 함수 γ(t)를 사용한 매개수화된 내림내림 조건 도입하고, 미적분학과 테일러 전개를 통해 경계 유도하기.
• 장벽 매개수와 곡률에 기반한 적응형 스텝 사이즈를 갖는 수정된 아르미조 선색색색법 적용하여, 기울기 리프시츠 연속성 요구 없이 수렴 보장하기.
• 기울기 노름 ∥∇Fμ(xk) − A⊤yk∥² → 0의 극한 행동 분석을 통해 수렴성을 입증하고, 모든 극한점이 장벽 정규화 문제의 정류점임을 증명하기.

실험 결과

연구 질문

• RQ1 고전적 자기동조 장벽 함수를 초월해 더 넓은 함수 클래스를 포함하면서도 수렴성과 복잡도 보장을 유지할 수 있는 헤시안 장벽 방법을 일반화할 수 있는가?
• RQ2 제안된 알고리즘이 경계 특이성이 있는 비볼록, 비미분 가능 문제에 대해 근사 정류점으로의 전역 수렴을 달성하는가?
• RQ3 타당 영역이 자기동조 장벽을 갖는 경우, 이 방법의 최악의 경우 반복 복잡도는 무엇인가?
• RQ4 표준 1차 방법이 비미분성과 비볼록성으로 인해 실패하는 비볼록 통계적 추정 및 Lp-최소화 문제에서 이 방법은 실질적으로 어떻게 성능을 발휘하는가?
• RQ5 기울기의 전역 리프시츠 연속성 가정 없이도 비볼록 복합 모델에 대한 수렴 분석을 확장할 수 있는가?

주요 결과

• 알고리즘은 비볼록 최적화 문제의 근사 정류점으로 전역 수렴하며, k → ∞일 때 ∥∇Fμ(xk) − A⊤yk∥² → 0이다.
• 타당 영역이 자기동조 장벽을 갖는 경우, 이 방법은 최악의 경우 최적 반복 복잡도를 달성하며, 이러한 문제에 대해 알려진 하한선과 일치한다.
• 잠재력 감소 ∆k는 ν ∈ (3, 4)일 때 ˜γν ∈ (1 − ln 2, 1)의 양수 배수로 아래에서 유계이며, ν = 4일 땐 exp(−1)이다.
• 스텝 사이즈 매개수 λk → 0 및 βk → 0이 반복 과정에서 유도되며, 이는 장벽 정규화 목적 함수의 기울기 노름이 극한에서 사라짐을 보장한다.
• 비미분 가능성과 비볼록성에 대해 강건하며, p ∈ (0, 1)인 Lp-정규화 문제에 대한 성공적인 적용을 통해 이를 입증하였다. 이 경우 목적 함수는 원점에서 방향 미분 가능하지 않다.
• 이론적 수렴 결과는 최소한의 가정 하에 성립한다: f는 비볼록 및 비미분 가능일 수 있으며, 장벽 함수는 일반화된 자기동조성을 갖는다. 이는 고전적 내점법에서 사용되는 다양한 장벽 함수 클래스를 포함할 수 있다.