[논문 리뷰] A ranking approach to global optimization

Cédric Malherbe, Nicolas Vayatis|arXiv (Cornell University)|2016. 03. 14.

Machine Learning and Algorithms참고 문헌 19인용 수 6

한 줄 요약

이 논문은 미지의 목적 함수에 의해 유도되는 순위 규칙을 학습하는 방식으로 문제를 프레임워크화함으로써, 부드러움이나 볼록성 조건을 요구하지 않고도 효율적인 최적화를 가능하게 하는 새로운 글로벌 최적화 프레임워크를 제안한다. 이중 순위 방법과 볼록 수준 집합 구조를 활용함으로써 수렴 보장과 벤치마크에서의 강력한 경험적 성능을 달성한다. 기존 최고 수준의 도함수 기반 최적화 방법들을 능가한다.

ABSTRACT

We consider the problem of maximizing an unknown function over a compact and convex set using as few observations as possible. We observe that the optimization of the function essentially relies on learning the induced bipartite ranking rule of f. Based on this idea, we relate global optimization to bipartite ranking which allows to address problems with high dimensional input space, as well as cases of functions with weak regularity properties. The paper introduces novel meta-algorithms for global optimization which rely on the choice of any bipartite ranking method. Theoretical properties are provided as well as convergence guarantees and equivalences between various optimization methods are obtained as a by-product. Eventually, numerical evidence is given to show that the main algorithm of the paper which adapts empirically to the underlying ranking structure essentially outperforms existing state-of-the-art global optimization algorithms in typical benchmarks.

연구 동기 및 목표

• 최소한의 함수 평가 수로 비볼록, 비부드러운 함수의 글로벌 최적화를 해결하기 위해.
• 지역적 부드러움 가정에 의존하지 않고 함수에 의해 유도되는 순위 구조에 초점을 맞추기 위해.
• 어떤 이중 순위 방법이든 통합할 수 있는 메타알고리즘 프레임워크를 개발하기 위해.
• 제안된 최적화 방식에 대한 이론적 수렴 보장과 통계적 일致성 제공하기 위해.
• 기존 최고 수준의 도함수 기반 최적화 알고리즘들과의 경쟁력을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 글로벌 최적화를 이중 순위 문제로 모델링하며, 입력 점들 사이의 함수 값 순서를 학습하는 것을 목표로 한다.
• 이를 위해, 알려진 순위 구조를 활용하여 순차적 샘플링을 전역 최적해 쪽으로 이끄는 메타알고리즘인 RankOpt를 제안한다.
• 사전 지식 없이 데이터로부터 기본 순위 구조를 학습하는 적응형 버전의 RankOpt를 제안한다.
• 이 방법은 볼록 수준 집합에 기반하며, 관측된 점들의 볼록 껍질을 이용해 향상 가능한 후보 영역을 정의한다.
• 이론적 분석을 통해 볼록 껍질의 연쇄 구조가 비어 있을 경우가 순위 손실이 0임과 동치임을 증명함으로써 전역 최적해에 수렴함을 보장한다.
• 단계 함수의 연속적 근사값을 사용하여 원하는 순위 성질과 볼록 수준 집합 성질을 갖는 매끄러운 함수를 구성한다.

실험 결과

연구 질문

• RQ1 목적 함수가 부드럽지 않더라도 글로벌 최적화를 효과적으로 이중 순위 문제로 재정의할 수 있는가?
• RQ2 순위 기반 최적화 알고리즘의 통계적 일치성과 수렴성을 보장하는 조건은 무엇인가?
• RQ3 제안된 순위 기반 방법의 성능은 기존 도함수 기반 최적화 기법들과 비교해 어떻게 되는가?
• RQ4 사전 가정 없이도 알려지지 않은 순위 구조에 적응할 수 있는가?
• RQ5 볼록 껍질의 기하학적 성질과 최적화 과정의 수렴성 사이의 관계는 무엇인가?

주요 결과

• 제안된 RankOpt 알고리즘은 목적 함수의 국소적 부드러움 조건이 없더라도 전역 최적해에 수렴함을 보였다.
• 이론적 분석을 통해 볼록 껍질의 연쇄 구조가 비어 있을 경우가 순위 손실이 0임과 동치임을 증명하였으며, 이는 전역 최대값을 식별하는 것과 동치임을 보였다.
• 적응형 버전의 알고리즘은 경험적으로 기본 순위 구조를 학습하며 표준 글로벌 최적화 벤치마크에서 경쟁적인 성능을 보였다.
• 이 방법은 다양한 시험 함수에서 기존 최고 수준의 도함수 기반 최적화 알고리즘들을 능가하거나 이를 충족하는 강력한 경험적 성능을 보였다.
• 학습 알고리즘과 최적화 절차 사이의 이론적 동치관계를 확립함으로써, 효율적인 최적화 체계의 설계 및 구현을 뒷받침하였다.
• 이 프레임워크는 고차원 입력 공간과 약한 정규성 조건에 대해 강건하며, 함수 값의 유도된 순위 구조에만 의존하기 때문이다.