[논문 리뷰] Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes

Mohammad Gheshlaghi Azar, Eva L. Dyer외 1명|arXiv (Cornell University)|2016. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 3

한 줄 요약

이 논문은 무작위 함수 평가를 통해 제약 조건이 있는 ℓ₁ 회귀를 통해 부드러운 비볼록 함수의 볼록 이완을 추정함으로써 볼록 이완 회귀(Convex Relaxation Regression, CoRR)를 도입한다. CoRR는 오차 O((log(1/δ)/T)^α)로 전역 최소화점을 향해 수렴함을 증명하며, 다항 수렴 속도를 확립하고 볼록 솔버를 사용한 효율적인 전역 최적화를 가능하게 한다.

ABSTRACT

Finding efficient and provable methods to solve non-convex optimization problems is an outstanding challenge in machine learning and optimization theory. A popular approach used to tackle non-convex problems is to use convex relaxation techniques to find a convex surrogate for the problem. Unfortunately, convex relaxations typically must be found on a problem-by-problem basis. Thus, providing a general-purpose strategy to estimate a convex relaxation would have a wide reaching impact. Here, we introduce Convex Relaxation Regression (CoRR), an approach for learning convex relaxations for a class of smooth functions. The main idea behind our approach is to estimate the convex envelope of a function $f$ by evaluating $f$ at a set of $T$ random points and then fitting a convex function to these function evaluations. We prove that with probability greater than $1-δ$, the solution of our algorithm converges to the global optimizer of $f$ with error $\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$ for some $α> 0$. Our approach enables the use of convex optimization tools to solve a class of non-convex optimization problems.

연구 동기 및 목표

• 기울기 정보가 이용 불가능한 부드러운 비볼록 함수에 대한 일반 목적의 블랙박스 전역 최적화 방법을 개발하는 것.
• 기울기 정보 없이 함수 평가만을 사용하여 비볼록 함수의 볼록 봉우리를 추정함으로써 볼록 최적화 도구의 사용을 가능하게 하는 것.
• 추정된 볼록 이완이 진짜 전역 최소화점에 수렴하는 이론적 수렴 보장을 제공하는 것.
• 정확성과 효율성을 유지하면서도 높은 차원으로의 확장성을 확보하는 것.
• CoRR의 출력를 초기값으로 사용하여 국소 솔버를 초기화함으로써 하이브리드 최적화를 가능하게 하는 것.

제안 방법

• CoRR는 T개의 무작위 점에서 f를 샘플링하고, 제약 조건이 있는 ℓ₁ 회귀를 통해 볼록 함수를 피팅하여 함수 f의 볼록 봉우리를 추정한다.
• 이 방법은 볼록 함수의 기저(예: 다항식)를 사용하여 추정된 볼록 대체 함수를 표현하며, 정규화를 통해 볼록성을 보장한다.
• 회귀는 근사 오차와 대체 함수의 경험적 기대값 사이의 균형을 이루도록 제약되며, 날카운 빈도를 촉진한다.
• 알고리즘은 기울기 정보가 필요로 하지 않는 제로 순서 설정에서 작동한다.
• 이론적 분석은 f(x) − f*의 헬더 연속성을 가정하고, T와 δ에 의존하는 수렴 속도를 유도한다.
• 반복적으로 샘플링 분포를 정밀화함으로써 샘플 복잡도를 감소시키기 위한 적응형 샘플링 확장 기법을 제안한다.

실험 결과

연구 질문

• RQ1 무작위 함수 평가만으로도 부드러운 비볼록 함수의 볼록 이완을 정확하게 추정할 수 있는가?
• RQ2 샘플 수가 증가함에 따라 추정된 볼록 봉우리가 진짜 전역 최소화점으로 수렴하는가?
• RQ3 CoRR의 추정치가 전역 최소화점으로 수렴하는 속도는 얼마이며, 이는 차원과 샘플 크기와 어떻게 스케일링되는가?
• RQ4 고차원 비볼록 설정에서 전통적인 전역 최적화 방법과 비교해 CoRR는 어떻게 성능을 내는가?
• RQ5 CoRR는 국소 최적화 방법과 효과적으로 조합되어 정확한 전역 최소화를 달성할 수 있는가?

주요 결과

• CoRR는 확률 1−δ 이상로 전역 최소화점으로 수렴하며 수렴 속도가 O((log(1/δ)/T)^α)이다. 여기서 α > 0은 f(x)−f*의 헬더 지수에 따라 달라진다.
• 살로몬 함수의 경우, 모든 테스트 차원에서 백만 개의 샘플로 오차가 1e−5 이하로 유지된다.
• 10개 이상의 차원에서는 쿼드라틱 뉴턴 및 시뮬레이티드 어닐링 방법이 전역 최소값을 회복하지 못하지만, CoRR는 강력한 성능 유지를 유지한다.
• CoRR의 출력를 국소 최적화기(예: 쿼드라틱 뉴턴)의 초기값으로 사용할 경우, 모든 테스트 차원에서 살로몬 함수의 전역 최소값을 완벽하게 복구할 수 있다.
• 진짜 볼록 봉우리가 함수 클래스 H 내에 있을 때 이론적 보장이 성립하며, H에 가까운 경우에도 이를 확장할 수 있다.
• 이 방법은 차원에 대해 잘 스케일링되며, 주어진 오차 허용 범위에서 필요한 샘플 수가 차원에 대해 다항적으로 증가한다.