[논문 리뷰] SCOBO: Sparsity-Aware Comparison Oracle Based Optimization.

HanQin Cai, Daniel McKenzie외 2명|arXiv (Cornell University)|2020. 10. 06.

Machine Learning and Algorithms참고 문헌 9인용 수 1

한 줄 요약

이 논문은 볼록 함수의 저차원적 구조를 활용하여 차원 $d$에 대해 로그 크기의 쿼리 복잡도를 달성하는 스파arsity-aware 비교 오라클 기반 최적화 알고리즘인 SCOBO를 제안한다. 기존의 차원 $d$에 대해 다항식적 의존도를 가지는 방법들과는 달리, SCOBO는 노이즈가 있는 응답을 갖는 비교 오라클을 활용하여 효율적으로 최적화를 수행하며, 합성 데이터 및 MuJoCo 데이터셋에서 최신 비교 기반 방법들보다 뛰어난 성능을 보여준다.

ABSTRACT

We study derivative-free optimization for convex functions where we further assume that function evaluations are unavailable. Instead, one only has access to a comparison oracle, which, given two points $x$ and $y$, and returns a single bit of information indicating which point has larger function value, $f(x)$ or $f(y)$, with some probability of being incorrect. This probability may be constant or it may depend on $|f(x)-f(y)|$. Previous algorithms for this problem have been hampered by a query complexity which is polynomially dependent on the problem dimension, $d$. We propose a novel algorithm that breaks this dependence: it has query complexity only logarithmically dependent on $d$ if the function in addition has low dimensional structure that can be exploited. Numerical experiments on synthetic data and the MuJoCo dataset show that our algorithm outperforms state-of-the-art methods for comparison based optimization, and is even competitive with other derivative-free algorithms that require explicit function evaluations.

연구 동기 및 목표

• 직접적인 함수 평가가 아닌 오직 노이즈가 있는 비교 쿼리만 제공될 때 파생도 없는 최적화 문제에 대응하는 것.
• 목적 함수의 저차원적 구조를 활용하여 고차원 환경에서의 쿼리 복잡도를 줄이는 것.
• 함수 값에 접근이 불가능한 상황에서도 단지 점 간의 상대적 비교에 의존하여 효율성을 유지하는 알고리즘을 개발하는 것.
• 쿼리 효율성과 수렴 속도 측면에서 기존의 비교 기반 최적화 방법들을 능가하는 것.
• 함수 평가가 직접 필요한 파생도 없는 방법들과의 경쟁력을 입증하는 것.

제안 방법

• 두 점 중 어느 쪽의 함수 값이 더 큰지를 반환하는 비교 오라클을 사용하며, 오차 확률은 함수 값의 차이에 따라 달라질 수 있으며 유한한 범위 내에 제한된다.
• 함수 값이 크게 변할 것으로 예상되는 저차원 부분공간에 쿼리를 적응적으로 집중시키는 스파arsity-aware 탐색 전략을 도입한다.
• 비교 결과에 기반해 탐색 공간을 재귀적으로 분할하고 활성 샘플링을 수행함으로써 전체 차원 탐색에 대한 의존도를 줄인다.
• 함수 값 차이 $|f(x) - f(y)|$에 따라 노이즈를 모델링함으로써 오류에 대한 내성 강화를 구현한다.
• 함수에 저차원적 구조가 존재할 경우, 쿼리 복잡도가 차원 $d$에 대해 로그 크기로 증가함을 증명하며, 이는 이전의 다항식적 의존도를 뛰어넘는다.
• 기울기나 함수 값 계산 없이도 비교 피드백을 반복적으로 이용해 후보 영역를 정밀하게 개선함으로써 수치 최적화를 이끈다.

실험 결과

연구 질문

• RQ1 목적 함수가 저차원적 구조를 지닐 경우, 비교 기반 최적화가 차원 $d$에 대해 다항식 이하의 쿼리 복잡도를 달성할 수 있는가?
• RQ2 구조적 가정이 없이 차원이 증가할수록 비교 기반 최적화의 성능은 어떻게 악화되는가?
• RQ3 변동하는 오차 비율을 갖는 노이즈가 있는 비교 오라클을 파생도 없는 최적화에서 효과적으로 활용할 수 있는가?
• RQ4 함수 평가가 직접 필요한 파생도 없는 방법들보다 비교 오라클 기반 방법이 성능 면에서 뛰어날 수 있는가?
• RQ5 고차원 비교 기반 최적화에서 스파arsity-aware 탐색 전략은 수렴 속도와 쿼리 효율성에 어떤 영향을 미치는가?

주요 결과

• 함수에 활용 가능한 저차원적 구조가 존재할 경우, SCOBO는 기존의 다항식적 의존도를 가진 방법들과는 달리 차원 $d$에 대해 로그 크기의 쿼리 복잡도를 달성한다.
• SCOBO는 합성 볼록 함수와 MuJoCo 강화 학습 벤치마크 양쪽 모두에서 최신 비교 기반 최적화 방법들을 능가한다.
• 함수 값에 접근이 불가능한 상황에서도 SCOBO의 성능은 직접 함수 평가가 필요한 파생도 없는 최적화 알고리즘들과 경쟁 가능하다.
• 특히 함수 값의 차이 크기에 따라 오차 확률이 변하는 경우, 노이즈에 대한 저항력이 뛰어나다.
• 수치 결과는 저차원적 구조를 활용할 경우 고차원 문제에서 요구되는 비교 쿼리 수가 크게 감소함을 확인한다.
• 단지 상대적 비교에 의존하고 있음에도 불구하고 알고리즘이 강력한 수렴 성질을 유지함으로써, 실세계 최적화 과제에 대한 실용적 타당성을 입증한다.