[논문 리뷰] Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss

Yair Carmon, Arun Jambulapati외 2명|arXiv (Cornell University)|2021. 07. 07.

Complexity and Algorithms in Graphs인용 수 2

한 줄 요약

이 논문은 N개의 볼록이고 리프시츠인 함수의 최대값을 최소화하기 위한 개선된 제1차 오라클 복잡도 상한을 제시한다. 공구 최적화 오라클 가속화 방법을 정교화하고 소프트맥스 함수를 통해 효율적으로 구현함으로써, 비스무스터의 경우 O(N𝜖⁻²/³ + 𝜖⁻⁸/³)의 복잡도와 O(𝜖⁻¹)-스무스의 경우 O(N𝜖⁻²/³ + √N𝜖⁻¹)의 복잡도를 달성하였으며, 다항로그 인자 이외의 요소에서 최적의 N 의존성을 확보하였다.

ABSTRACT

We characterize the complexity of minimizing the maximum of 𝑁 convex, Lipschitz functions. For non-smooth functions, existing methods require O(𝑁𝜖⁻²) queries to a first-order oracle to compute an 𝜖-suboptimal point and O(𝑁𝜖⁻¹) queries if the functions are O(𝜖⁻¹)-smooth. We develop methods with improved complexity bounds O(𝑁𝜖⁻²/³ + 𝜖⁻⁸/³) in the non-smooth case and O(𝑁𝜖⁻²/³ + √𝑁𝜖⁻¹) in the O(𝜖⁻¹)-smooth case. Our methods consist of a recently proposed ball optimization oracle acceleration algorithm (which we refine), combined with careful implementation of said oracle for the softmax function. We also prove an oracle complexity lower bound scaling as 𝛺(𝑁𝜖⁻²/³), showing that our dependence on 𝑁 is optimal up to polylogarithmic factors.

연구 동기 및 목표

• N개의 볼록이고 리프시츠인 함수의 최대값을 최소화하기 위한 제1차 오라클 복잡도를 감소시키기.
• 기존 방법들과 이론적 하한선 사이의 N 및 𝜖 의존성 간 격차를 좁히기.
• 소프트맥스 함수를 위한 공구 최적화 오라클의 효율적 구현 개발하기.
• 하한선을 증명하여 날카로운 복잡도 상한을 확립하기.
• 비스무스터 및 스무스 설정 모두에서 근사 최적 성능 달성하기.

제안 방법

• 저자들은 최근 제안된 공구 최적화 오라클 가속 알고리즘을 정교화하여 질의 효율성을 향상시켰다.
• 공구 오라클을 소프트맥스 함수를 사용해 구현함으로써 최대 함수의 최소화점을 효율적으로 계산할 수 있도록 하였다.
• 이 방법은 소프트맥스의 구조를 활용하여 필요한 제1차 오라클 질의 수를 줄였다.
• 핵심 기여 중 하나는 비스무스터 함수에 대해 O(N𝜖⁻²/³ + 𝜖⁻⁸/³)의 복잡도 상한을 도출한 것이다.
• O(𝜖⁻1)-스무스 함수의 경우, O(N𝜖⁻²/³ + √N𝜖⁻¹)의 복잡도를 달성하였으며, 이는 이전의 O(N𝜖⁻¹) 상한보다 향상된 것이다.
• 저자들은 Ω(N𝜖⁻²/³)의 일치하는 하한선을 증명하였으며, 이는 N 의존성이 다항로그 인자 이외의 요소에서 최적이 됨을 보여준다.

실험 결과

연구 질문

• RQ1 비스무스터의 경우, N개의 볼록이고 리프시츠인 함수의 최대값을 최소화하기 위한 제1차 오라클 복잡도를 O(N𝜖⁻²)를 초월해 향상시킬 수 있는가?
• RQ2 N개의 스무스 볼록 함수의 최대값을 최소화할 때, N과 𝜖에 대한 최적의 의존성은 무엇인가?
• RQ3 소프트맥스 함수를 위한 공구 최적화 오라클을 효율적으로 구현하여 더 빠른 수렴을 가능하게 할 수 있는가?
• RQ4 복잡도 상한에서 N𝜖⁻²/³ 의존성이 날카로운가, 그리고 일치하는 하한선을 도출할 수 있는가?
• RQ5 스무스 및 비스무스터 설정 모두에서 기존 방법과 비교해 질의 복잡도 측면에서 제안된 방법은 어떻게 다른가?

주요 결과

• 제안된 방법은 비스무스터 함수에 대해 O(N𝜖⁻²/³ + 𝜖⁻⁸/³)의 제1차 오라클 질의를 달성하였으며, 이는 이전의 O(N𝜖⁻²) 상한을 향상시킨 것이다.
• O(𝜖⁻¹)-스무스 함수의 경우, 복잡도를 O(N𝜖⁻²/³ + √N𝜖⁻¹)로 감소시켰으며, 이는 이전의 O(N𝜖⁻¹) 상한을 향상시킨 것이다.
• N 의존성은 다항로그 인자 이외의 요소에서 최적이며, Ω(N𝜖⁻²/³)의 하한선을 통해 확인되었다.
• 공구 최적화 오라클은 소프트맥스 함수를 통해 성공적으로 구현되어 최대 함수의 효율적 최소화를 가능하게 하였다.
• 𝜖 의존성 측면에서 복잡도 상한은 날카로우며, 𝜖 의 지수는 이론적 하한선과 일치한다.
• 결과적으로, 공구 오라클을 통한 가속화가 볼록 함수의 최소-최대 최적화에서 질의 복잡도를 크게 감소시킬 수 있음을 보여주었다.