[논문 리뷰] Oracle Complexity of Second-Order Methods for Finite-Sum Problems

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|2016. 11. 15.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 유한합 문제에 대한 2차 방법의 오라클 복잡도를 조사하며, 이론적 이점이 있음에도 불구하고 개별 헤시안 행렬이 효율적으로 계산 가능한 경우, 1차 방법에 비해 최악의 수렴 속도가 향상되지 않는다는 것을 보여준다. 핵심 결과는 이 설정에서 2차 방법이 1차 방법보다 더 나은 반복 복잡도를 달성할 수 없다는 하한선을 증명하는 것이다. 이는 헤시안 정보가 제공되더라도 성립한다.

ABSTRACT

Finite-sum optimization problems are ubiquitous in machine learning, and are commonly solved using first-order methods which rely on gradient computations. Recently, there has been growing interest in \emph{second-order} methods, which rely on both gradients and Hessians. In principle, second-order methods can require much fewer iterations than first-order methods, and hold the promise for more efficient algorithms. Although computing and manipulating Hessians is prohibitive for high-dimensional problems in general, the Hessians of individual functions in finite-sum problems can often be efficiently computed, e.g. because they possess a low-rank structure. Can second-order information indeed be used to solve such problems more efficiently? In this paper, we provide evidence that the answer -- perhaps surprisingly -- is negative, at least in terms of worst-case guarantees. However, we also discuss what additional assumptions and algorithmic approaches might potentially circumvent this negative result.

연구 동기 및 목표

• 개별 헤시안 행렬이 효율적으로 계산 가능한 유한합 문제에 대해 2차 방법이 1차 방법보다 더 나은 오라클 복잡도를 달성할 수 있는지 여부를 규명하는 것.
• 특히 고차원 설정에서의 유한합 최적화 맥락에서 2차 정보의 기본적 한계를 분석하는 것.
• 표준적인 미세조정성과 강력한 볼록성 가정 하에, 2차 정보를 사용하는 어떤 알고리즘도 요구하는 오라클 쿼리 수의 하한선을 설정하는 것.
• 추가적인 구조적 가정이나 알고리즘 설계가 2차 방법의 복잡도에 대한 부정적인 하한선을 극복할 수 있는지 조사하는 것.
• 특히 1차 방법가 알려진 최적 수렴 속도를 가진 경우와 비교하여, 2차 방법의 이론적 한계를 명확히 하는 것.

제안 방법

• 저자들은 함수 값, 기울기, 개별 함수의 헤시안을 액세스하는 알고리즘을 모델링하는 오라클 복잡도 프레임워크를 사용한다.
• 헤시안의 랭크가 낮은(예: 랭크-1) 구조를 지닌 고차원의 구조적 최적화 문제를 사용하여 어려운 사례를 구성한다. 이는 헤시안 계산이 효율적임을 의미한다.
• 분석은 알고리즘 쿼리에서 비영인 좌표 수에 대한 조합론적 추론에 기반하며, 각 반복에서 새로이 학습할 수 있는 좌표 수를 추적한다.
• 각 반복에서 좌표 커버리지의 기대 향상에 대한 재귀식과 합계 상한선을 유도하며, $\epsilon$-정확도에 도달하기 위해 필요한 반복 수가 최소 $\Omega(n + \sqrt{n\mu/\lambda} \log(1/\epsilon))$임을 보여준다.
• 반복마다 비어 있지 않은 좌표 수의 기대 증가를 추적하기 위해 $n^{d-1}$개의 튜플 집합에 대한 확률론적 추론을 사용한다.
• 제닝스 부등식과 멱급수 항등식을 적용하여 기대 향상을 상한으로 제한하며, 최종적으로 반복 수에 대한 하한선을 도출한다.

실험 결과

연구 질문

• RQ1 개별 헤시안 행렬이 효율적으로 계산 가능한 유한합 문제에 대해 2차 방법이 1차 방법보다 더 나은 오라클 복잡도를 달성할 수 있는가?
• RQ2 표준적인 미세조정성과 강력한 볼록성 가정 하에, 유한합 최적화에서 2차 정보의 기본적 한계는 무엇인가?
• RQ3 개별 구성 함수에서의 헤시안 정보 제공이 반복 복잡도 측면에서 증명 가능한 이점을 제공하는가?
• RQ4 구조적 가정이나 알고리즘 설계가 2차 방법의 복잡도에 대한 부정적인 하한선을 우회할 수 있는가?
• RQ5 헤시안 계산이 가능해지는 고차원 설정에서 2차 방법의 복잡도는 1차 방법과 어떻게 비교되는가?

주요 결과

• 개별 함수의 헤시안 행렬이 효율적으로 계산 가능한 경우조차도, 2차 방법은 1차 방법에 비해 유한합 문제의 최악의 오라클 복잡도를 향상시키지 못한다.
• 2차 방법의 반복 복잡도에 대한 하한선은 1차 방법의 알려진 하한선과 일치한다: $\Omega(n + \sqrt{n\mu/\lambda} \log(1/\epsilon))$.
• 개별 헤시안 행렬이 낮은 랭크(예: 랭크-1)일 경우조차도 이 결과는 성립하며, 이는 고차원에서의 계산 및 저장이 효율적임을 의미한다.
• 이 부정적인 결과는 알고리즘이 기울기 또는 헤시안을 사용하든 간에 각 반복에서 새로이 학습할 수 있는 좌표 수가 제한되어 있기 때문이다.
• 분석 결과, 각 반복에서 좌표 커버리지의 기대 향상은 $2/n$ 이하로 제한되며, 이는 최악의 경우 총 반복 수가 $\Omega(n)$가 되도록 이끈다.
• 저자들은 이 설정에서 2차 정보만으로는 기본적인 복잡도 장벽을 극복할 수 없다고 결론 내리며, 추가적인 가정이 이루어지지 않는 한 그러한 한계는 유지된다고 주장한다.