[논문 리뷰] A theory on the absence of spurious optimality

Cédric Josz, Yi Ouyang외 3명|arXiv (Cornell University)|2018. 05. 21.

Tensor decomposition and applications참고 문헌 12인용 수 2

한 줄 요약

이 논문은 '글로벌 함수'—임의의 허위 국소 최솟값이 없는 연속 함수—를 도입하고, 그 이론적 성질을 규명한다. 특히, 합성과 변수 변경에 대한 안정성 등을 포함한다. 저자들은 일부 비볼록, 비미분 가능한 텐서 분해 문제들이 글로벌 함수임을 증명함으로써, ℓ₁ 노름이 이러한 환경에서 이상치를 효과적으로 피하는 데 이론적 근거를 제시한다.

ABSTRACT

We study the set of continuous functions that admit no spurious local optima (i.e. local minima that are not global minima) which we term extit{global functions}. They satisfy various powerful properties for analyzing nonconvex and nonsmooth optimization problems. For instance, they satisfy a theorem akin to the fundamental uniform limit theorem in the analysis regarding continuous functions. Global functions are also endowed with useful properties regarding the composition of functions and change of variables. Using these new results, we show that a class of nonconvex and nonsmooth optimization problems arising in tensor decomposition applications are global functions. This is the first result concerning nonconvex methods for nonsmooth objective functions. Our result provides a theoretical guarantee for the widely-used $\ell_1$ norm to avoid outliers in nonconvex optimization.

연구 동기 및 목표

• 허위 국소 최솟값이 없는 연속 함수, 즉 '글로벌 함수'를 식별하고 특성화하는 것.
• 기존 분석 이론(예: 균일한 극한 정리 등)과 유사한 글로벌 함수의 기초 정리 수립.
• 텐서 분해에서 발생하는 비볼록, 비미분 가능한 최적화 문제가 글로벌 함수의 범주에 속함을 보여주는 것.
• 비볼록 최적화에서 이상치를 피하는 데 ℓ₁ 정규화가 효과적인 데 이론적 근거를 제공하는 것.

제안 방법

• 글로벌 함수를 모든 국소 최솟값이 전역 최솟값인 연속 함수로 정의한다.
• 글로벌 함수가 균일한 극한, 연속 함수와의 합성, 미분 가능 변수 변경에 대해 닫혀 있음을 증명한다.
• 이론을 비볼록, 비미분 가능한 최적화 문제의 한 클래스에 적용하여 텐서 분해 분석에 활용한다.
• 글로벌 함수의 구조적 성질을 활용해, ℓ₁ 정규화된 텐서 분해 목표 함수가 허위 국소 최솟값을 갖지 않음을 보여준다.
• 글로벌 함수가 미분형 변환에 대해 불변임을 활용해 결과를 재매개변수화된 최적화 문제로 확장한다.
• 비볼록, 비미분 가능한 환경에 대해 고전적 볼록성 유사 보장을 일반화하는 새로운 이론적 프레임워크를 수립한다.

실험 결과

연구 질문

• RQ1 어떤 비볼록, 비미분 가능한 함수의 범주가 허위 국소 최솟값이 없도록 보장받을 수 있는가?
• RQ2 최적화에서 글로벌 함수는 합성과 변수 변경에 대해 어떻게 행동하는가?
• RQ3 ℓ₁ 정규화가 가미된 텐서 분해 문제들이 허위 국소 최솟값이 없음을 증명할 수 있는가?
• RQ4 비볼록 최적화에서 이상치를 피하는 데 ℓ₁ 정규화가 효과적인 데 이론적으로 보장되는 성질은 무엇인가?
• RQ5 균일한 극한 정리와 같은 고전적 분석 정리들이 비볼록 및 비미분 가능한 환경으로 얼마나 일반화될 수 있는가?

주요 결과

• 글로벌 함수의 집합은 균일한 극한에 대해 닫혀 있으며, 이는 비볼록 및 비미분 가능한 환경으로 고전적 분석 결과를 확장한다.
• 글로벌 함수는 연속 함수와의 합성과 미분 가능한 변수 변경에 대해 유지되며, 더 넓은 적용 가능성을 제공한다.
• ℓ₁ 정규화가 가미된 비볼록, 비미분 가능한 텐서 분해 문제의 일정한 클래스가 글로벌 함수임을 증명함으로써, 허위 국소 최솟값이 존재하지 않음을 보장한다.
• 이것은 비볼록, 비미분 가능한 최적화에서 ℓ₁ 정규화가 허위 최솟값이 없음을 보장하는 최초의 이론적 결과이다.
• 목표 함수에 허위 국소 최솟값이 없기 때문에, ℓ₁ 노름이 비볼록 최적화에서 이상치에 대한 강건성을 향상시킨다는 이론적 근거가 마련된다.