[논문 리뷰] Lower Complexity Bounds of Finite-Sum Optimization Problems: The Results and Construction

Yuze Han, Guangzeng Xie외 1명|arXiv (Cornell University)|2021. 03. 15.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 13

한 줄 요약

이 논문은 PIFO 알고리즘 분석에 적합한 n개의 그룹으로 삼중대각 행렬을 분할하는 새로운 구성 기법을 사용하여 유한합 미니맥스 최적화 문제에 대해 거의 날카로운 하한 복잡도를 확립한다. 결과적으로, 보조적 오라클이 기울기 오라클에 비해 거의 이점이 없음을 보여주며, L-평균 미세조정 조건과 볼록-볼록 또는 비볼록-강볼록 설정 하에서 기존 상한 복잡도와 로그 인자까지 거의 일치하는 하한 복잡도를 도출한다.

ABSTRACT

In this paper, we study the lower complexity bounds for finite-sum optimization problems, where the objective is the average of $n$ individual component functions. We consider Proximal Incremental First-order (PIFO) algorithms which have access to the gradient and proximal oracles for each component function. To incorporate loopless methods, we also allow PIFO algorithms to obtain the full gradient infrequently. We develop a novel approach to constructing the hard instances, which partitions the tridiagonal matrix of classical examples into $n$ groups. This construction is friendly to the analysis of PIFO algorithms. Based on this construction, we establish the lower complexity bounds for finite-sum minimax optimization problems when the objective is convex-concave or nonconvex-strongly-concave and the class of component functions is $L$-average smooth. Most of these bounds are nearly matched by existing upper bounds up to log factors. We can also derive similar lower bounds for finite-sum minimization problems as previous work under both smoothness and average smoothness assumptions. Our lower bounds imply that proximal oracles for smooth functions are not much more powerful than gradient oracles.

연구 동기 및 목표

• 유한합 미니맥스 문제에 대한 랜덤화된 PIFO 알고리즘의 기본 복잡도 한계를 메우기 위해.
• PIFO 알고리즘과 호환되는 하드 인스턴스를 위한 새로운 구성 기법을 개발하여, 희소한 전체 기울기 접근을 허용하는 루프 없는 변형도 포함한다.
• L-평균 미세조정 조건 하에서 볼록-볼록 및 비볼록-강볼록 유한합 미니맥스 문제에 대한 하한 복잡도를 유도하기 위해.
• 유한합 최적화에서 보조적 오라클과 기울기 오라클의 성능을 비교하여, 보조적 접근이 기울기 접근에 비해 거의 성능 향상을 이끌지 못함을 보여주기 위해.
• 기존 상한 복잡도와 로그 인자까지 거의 일치하는 거의 날카로운 하한 복잡도를 유한합 최소화 및 미니맥스 문제에 대해 제공하기 위해.

제안 방법

• PIFO 알고리즘 분석에 적합한 n개의 그룹으로 고전적인 삼중대각 행렬을 분할하는 새로운 하드 인스턴스 구성 기법을 제안한다.
• 각 구성 함수에 대해 함수 값, 기울기, 보조적 사상(Proximal mapping)을 제공하는 PIFO 오라클을 정의하며, 희소한 전체 기울기 접근을 허용한다.
• L-평균 미세조정 조건과 (μx, μy)-볼록-볼록 또는 비볼록-강볼록 가정 하에서 알고리즘을 분석한다.
• 하드 인스턴스 내부의 재귀적 구조를 활용하여 PIFO 알고리즘이 특정 속도를 초과해 진전을 이룰 수 없음을 보여주며, 하한 복잡도를 도출한다.
• 특정 조건 하에서 보조적 연산자의 행동에 관한 보조정리를 적용하여 반복 간 해 공간의 불변성을 증명한다.
• 모든 PIFO 알고리즘이 ε-하한성 또는 ε-정류성에 도달하기 위해 일정 수의 오라클 쿼리를 반드시 수행해야 함을 보여주어 하한 복잡도를 도출한다.

실험 결과

연구 질문

• RQ1 ε-정확도로 유한합 미니맥스 문제를 해결하기 위해 필요한 PIFO 오라클 쿼리의 기본 하한은 얼마인가?
• RQ2 기울기 오라클 외에 보조적 오라클을 포함할 경우, 유한합 미니맥스 최적화의 복잡도는 기울기 오라클만 사용할 경우에 비해 어떻게 달라지는가?
• RQ3 PIFO 알고리즘(루프 없는 방법 포함, 기하학적 전체 기울기 간격을 가짐)의 행동을 잘 반영할 수 있는 새로운 하드 인스턴스 구성 기법을 설계할 수 있는가?
• RQ4 기존의 유한합 미니맥스 문제 상한 복잡도가 유도된 하한 복잡도와 로그 인자까지 거의 일치하는가?
• RQ5 L-평균 미세조정 조건 하에서, 보조적 오라클의 성능이 기울기 오라클을 크게 초월하는가?

주요 결과

• 논문은 L-평균 미세조정 조건 하에서 유한합 미니맥스 문제에 대해 거의 날카로운 하한 복잡도를 확립하며, 기존 상한 복잡도와 로그 인자까지 거의 일치한다.
• 삼중대각 행렬 분할을 통한 제안된 하드 인스턴스 구성 기법은 PIFO 알고리즘의 분석을 간결하게 하며, 루프 없는 방법과 더불어 双중루프 방법의 한계를 잘 반영한다.
• 유한합 미니맥스 문제에서 보조적 오라클은 기울기 오라클에 비해 거의 이점이 없으며, 보조적 접근이 없는 경우와 거의 동일한 하한 복잡도를 보인다.
• 볼록-볼록 및 비볼록-강볼록 설정 하에서 하한 복잡도는 어떤 PIFO 알고리즘도 유도된 속도를 초과해 ε-하한성 또는 ε-정류성에 도달할 수 없음을 시사한다.
• 결과는 부드러움과 평균 부드러움 조건 하에서 유한합 최소화 문제로도 확장되며, 이러한 영역에서 알려진 상한 복잡도의 날카로움을 확인한다.
• 분석은 보조적 또는 기울기 오라클을 사용하든 간에, 유한합 문제를 해결하는 데 필요한 복잡도가 구성 함수 접근 횟수에 의해 본질적으로 제한됨을 확인한다.