[논문 리뷰] A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization

Cédric Josz, Yi Ouyang외 3명|arXiv (Cornell University)|2018. 05. 21.

Advanced Optimization Algorithms Research인용 수 22

한 줄 요약

이 논문은 '글로벌 함수'—임의의 국소 최솟값이 전역 최솟값이 되는 연속 함수—의 개념을 도입하여, 라플라시안 노이즈가 있는 행렬 및 텐서 복원 문제에서 발생하는 일부 비볼록, 비미분 가능 최적화 문제들이 국소 탐색을 통해 전역적으로 해를 구할 수 있음을 증명한다. 주요 기여는 낮은 질서의 텐서 분해에서 $ε_1$-노름 기반 목적함수를 최소화할 경우 오직 전역 최솟값만 존재함을 이론적으로 보장하는 것이다. 이는 희박한 이상치에 대해 강건한 복원을 가능하게 한다.

ABSTRACT

We study the set of continuous functions that admit no spurious local optima (i.e. local minima that are not global minima) which we term extit{global functions}. They satisfy various powerful properties for analyzing nonconvex and nonsmooth optimization problems. For instance, they satisfy a theorem akin to the fundamental uniform limit theorem in the analysis regarding continuous functions. Global functions are also endowed with useful properties regarding the composition of functions and change of variables. Using these new results, we show that a class of nonconvex and nonsmooth optimization problems arising in tensor decomposition applications are global functions. This is the first result concerning nonconvex methods for nonsmooth objective functions. Our result provides a theoretical guarantee for the widely-used $\ell_1$ norm to avoid outliers in nonconvex optimization.

연구 동기 및 목표

• 라플라시안 노이즈 또는 희박한 노이즈 하에서 행렬 및 텐서 복원 문제의 비볼록, 비미분 가능 최적화에 대한 이론적 보장이 부족한 문제를 해결하기 위해.
• 비볼록, 비미분 가능 목적함수가 임의의 국소 최솟값을 갖지 않는 조건을 설정하기 위해.
• 이러한 문제들을 분석하기 위한 새로운 수학적 프레임워크—글로벌 함수—를 개발하기 위해.
• 단일 랭크 텐서 분해에서 $ε_1$-노름 목적함수가 국소 최적화를 통해 전역적으로 해를 구할 수 있음을 증명하기 위해.
• 부드럽고 볼록 완화된 문제에 대한 기존 결과를 비부드럽고 비볼록 형태로 확장하여 이상치에 강건한 성능을 보장하기 위해.

제안 방법

• 모든 국소 최솟값이 전역 최솟값이 되는 연속 함수인 '글로벌 함수'의 개념을 도입하여, 고전적 분석을 비볼록, 비미분 가능 설정으로 확장한다.
• 기초 성질을 확립: 균일한 극한 정리의 유사성, 합성 규칙, 및 변수 변경에 대한 불변성 등 글로벌 함수의 성질.
• 이 성질들을 적용하여 함수 $ f_1(x) = \sum_{i_1,\ldots,i_d=1}^n |x_{i_1}\cdots x_{i_d} - y_{i_1}\cdots y_{i_d}| $ 가 글로벌 함수임을 보인다.
• 클라크 일반화 미분을 사용하여 일阶 최적성 조건을 분석하고 정적점에 대한 필요 조건을 유도한다.
• 카루시-쿠른-타커 조건과 선형계획법 재구성 기법을 활용하여 제약 조건이 있는 부분집합에서 임의의 국소 최솟값이 존재하지 않음을 증명한다.
• 가능집합 $ S $ 상의 목적함수는 선형 및 거듭제곱 함수의 합성과 동치이며, 선형계획법 등가성에 의해 이 함수들이 글로벌 함수임을 보여준다.

실험 결과

연구 질문

• RQ1 ℓ₁-노름 목적함수를 포함하는 비볼록, 비미분 가능 최적화 문제들이 임의의 국소 최솟값을 갖지 않도록 보장할 수 있는가?
• RQ2 라플라시안 노이즈 또는 희박한 이상치 하에서 텐서 분해 문제에 대해 임의의 국소 최솟값이 존재하지 않는가?
• RQ3 비볼록, 비미분 가능 최적화의 분석을 통합하기 위해 전역 최적해로의 수렴 보장을 갖는 새로운 함수 클래스—글로벌 함수—를 정의할 수 있는가?
• RQ4 합성 및 변수 변경 등의 성질이 비미분 가능 함수의 전역 최적성 구조에 어떻게 영향을 미치는가?
• RQ5 부드럽고 볼록 완화된 행렬 완성 문제의 이론적 보장이 비부드럽고 비볼록 형태로 확장되어 이상치에 강건한 성능을 보장할 수 있는가?

주요 결과

• 함수 $ f_1(x) = \sum_{i_1,\ldots,i_d=1}^n |x_{i_1}\cdots x_{i_d} - y_{i_1}\cdots y_{i_d}| $ 는 임의의 국소 최솟값이 없으며, 따라서 모든 국소 최솟값이 전역 최솟값임을 보장한다.
• $ f_1 $ 의 일阶 정적점은 $ y_i = 0 $ 인 경우 항상 $ x_i = 0 $ 이며, 모든 색인에 대해 $ \frac{x_{i_1}\cdots x_{i_d}}{y_{i_1}\cdots y_{i_d}} \leq 1 $ 를 만족한다.
• $ y_1\cdots y_n \neq 0 $ 인 경우, 함수 $ f_1 $ 은 집합 $ S = \{ x \mid \frac{x_{i_1}\cdots x_{i_d}}{y_{i_1}\cdots y_{i_d}} \leq 1 \} $ 상에서 글로벌 함수이다. 이는 이 영역에서 선형 또는 이차계획법과 동치이기 때문이다.
• 결과는 짝수 차수 및 홀수 차수 텐서 모두에 대해 성립하며, 증명은 각 육면체에 분해하고 KKT 조건을 통해 선형계획법과 연관시켜 수행된다.
• 글로벌 함수의 프레임워크는 비볼록 최적화에서 ℓ₁-기반 목적함수의 이론적 분석을 가능하게 하며, 비부드럽고 비볼록 문제에 대해 이러한 보장을 제공하는 최초의 사례이다.
• 이 이론은 ℓ₁-노름 목적함수를 사용할 경우 스티어티틱 그래디언트 디센트가 희박한 노이즈 하에서 낮은 랭크 행렬을 성공적으로 복원하는 이유를 설명한다. 이는 부드러운 ℓ₂-기반 설정에서는 실패하는 반면, ℓ₁-기반 설정에서는 성공하기 때문이다.