[논문 리뷰] Approximate Steepest Coordinate Descent

Sebastian U. Stich, Anant Raj외 1명|arXiv (Cornell University)|2017. 06. 26.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 근사 기울기 강하법(ASCD)을 소개한다. 이는 기울기 강하법(SCD)을 근사하는 새로운 좌표 선택 규칙로, 매번 전체 기울기를 계산하지 않아도 되며, 균일한 랜덤 선택보다 수렴 속도가 빠르게 보장된다. ASCD는 기울기 근사를 유지하면서 기울기 크기가 큰 좌표를 선택함으로써, 많은 설정에서 균일한 비용에 가까운 비용으로 SCD 수준의 성능를 달성한다. 이는 이론적 보장과 Lasso 및 리지 회귀에서의 실험적 검증을 통해 입증되었다.

ABSTRACT

We propose a new selection rule for the coordinate selection in coordinate descent methods for huge-scale optimization. The efficiency of this novel scheme is provably better than the efficiency of uniformly random selection, and can reach the efficiency of steepest coordinate descent (SCD), enabling an acceleration of a factor of up to $n$, the number of coordinates. In many practical applications, our scheme can be implemented at no extra cost and computational efficiency very close to the faster uniform selection. Numerical experiments with Lasso and Ridge regression show promising improvements, in line with our theoretical guarantees.

연구 동기 및 목표

• 매번 전체 기울기 계산이 필요로 하지 않는 좌표 강하법에서, 기울기 강하법(SCD)에 가까운 성능을 달성하는 좌표 선택 규칙을 개발하는 것.
• 새로운 방법인 ASCD가 항상 수렴 속도 측면에서 균일한 랜덤 좌표 선택(UCD)을 능가하도록 보장하는 것.
• 대규모 최적화에서 SCD 유사 성능을 실용적으로 구현하기 위해, 저비용으로 업데이트 가능한 기울기 근사를 유지하는 것.
• 이론적 및 실험적으로 ASCD가 SCD 수준의 수렴 속도를 달성하면서도 실세계 응용에서 계산적으로 효율적임을 입증하는 것.

제안 방법

• ASCD는 매 반복에서 전체 기울기를 계산하지 않도록, 저비용으로 점진적으로 업데이트되는 기울기 근사 벡터를 유지한다.
• 활성 좌표는 기울기 크기가 큰 좌표의 부분집합에서 선택되며, 이는 근사값에 대해 가우스-서던웰 유형의 규칙을 따르는 방식이다.
• 안전한 선택 규칙을 통해, 기울기 근사가 정확하지 않더라도 항상 균일한 랜덤 선택보다 나은 진전을 확보한다.
• 이 방법은 부드럽고 복합적인 볼록 최적화 문제 모두에 적용 가능하며, 블록-좌표 및 스 tochastic 설정으로의 확장도 가능하다.
• 이론적 보장 없이도 활성 집합 계산을 빠르게 하는 히우리스틱 변종인 a-ASCD도 제안한다.
• 알고리즘은 고정 또는 정확한 선색션 단계 크기를 사용하며, 실무에서는 희소 행렬 연산을 활용해 기울기 오라클을 효율적으로 구현한다.

실험 결과

연구 질문

• RQ1 매번 전체 기울기를 계산하지 않으면서도, 기울기 강하법(SCD)에 가까운 수렴 속도를 달성할 수 있는 좌표 강하법가 존재하는가?
• RQ2 기울기 근사가 정확하지 않더라도, 항상 균일한 랜덤 좌표 선택(UCD)보다 우수한 성능을 보장할 수 있는 선택 규칙를 설계할 수 있는가?
• RQ3 실제 최적화 문제에서 기울기 근사를 추가 비용 없이 유지할 수 있는 경우는 언제인가?
• RQ4 Lasso 및 리지 회귀와 같은 실세계 기계학습 문제에서 ASCD의 성능은 SCD 및 UCD와 어떻게 비교되는가?
• RQ5 무한한 오차를 가진 초기 근사에서 활성 집합을 효과적으로 학습할 수 있으며, 이는 수렴에 영향을 미치는가?

주요 결과

• ASCD는 기울기 근사의 정확도에 관계없이 항상 균일한 랜덤 좌표 선택(UCD)보다 수렴 속도가 빠르다는 것을 이론적으로 보장한다.
• ASCD는 기울기 강하법(SCD)에 가까운 수렴 속도를 달성할 수 있으며, 좌표 수 n의 요소까지 가속화 가능하다.
• RCV1 데이터셋에서, 매우 빈약한 기울기 오라클 조건에서도 ASCD는 한 에포크 내로 작은 진짜 활성 집합(좌표의 0.1%)을 신속하게 식별한다.
• 히우리스틱 변종인 a-ASCD는 실무에서 ASCD와 거의 동일한 성능을 보이며, 이론적 보장 없이도 때로는 略로 더 나은 성능을 보이기도 한다.
• 진짜 기울기로 초기화할 필요가 없으며, 임의이거나 정확하지 않은 초기 근사에서도 ASCD는 효과적으로 활성 집합을 학습한다.
• 기울기 오라클의 정밀도를 높여도 수렴 성능 향상이 거의 없어, ASCD가 근사 오차에 대해 강건하며 실무에서 효율적임을 시사한다.