[논문 리뷰] Coordinate Descent with Bandit Sampling

Farnood Salehi, Patrick Thiran외 1명|arXiv (Cornell University)|2017. 12. 08.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 비용 함수 감소의 하한값(경계 감소)을 추정함으로써 가장 유익한 좌표를 적응적으로 선택하는 벨로이드 기반 좌표 선택 방법을 제안한다. 다수의 손잡이 기반 프레임워크를 사용하여, 모든 경계를 계산하지 않고도 가장 큰 향상을 가져오는 좌표를 학습한다. 이로써 최적 방법에 가까운 수렴 속도를 달성하면서도 계산 비용을 d 배 감소시킨다.

ABSTRACT

Coordinate descent methods usually minimize a cost function by updating a random decision variable (corresponding to one coordinate) at a time. Ideally, we would update the decision variable that yields the largest decrease in the cost function. However, finding this coordinate would require checking all of them, which would effectively negate the improvement in computational tractability that coordinate descent is intended to afford. To address this, we propose a new adaptive method for selecting a coordinate. First, we find a lower bound on the amount the cost function decreases when a coordinate is updated. We then use a multi-armed bandit algorithm to learn which coordinates result in the largest lower bound by interleaving this learning with conventional coordinate descent updates except that the coordinate is selected proportionately to the expected decrease. We show that our approach improves the convergence of coordinate descent methods both theoretically and experimentally.

연구 동기 및 목표

• 비용 함수 감소가 가장 큰 좌표를 적응적으로 선택하여 좌표 강하 방법의 수렴 속도를 향상시키는 것.
• 각 단계에서 모든 좌표의 잠재적 감소를 평가하는 데 계산적으로 비현실적인 문제를 해결하는 것.
• 계산 가능성을 유지하면서도 유니폼 샘플링 및 최신 적응형 샘플링 전략을 능가하는 경량이고 확장 가능한 방법을 개발하는 것.
• 이론적 및 실험적으로 벨로이드 기반 경계 감소 학습이 최적에 가까운 수렴을 달성하면서도 계산 오버헤드를 줄이는 것을 검증하는 것.

제안 방법

• 일반적인 업데이트 규칙 H의 일반 클래스를 사용하여, 단일 좌표를 업데이트할 때 비용 함수 감소의 하한값인 '경계 감소'를 유도한다.
• 다수의 손잡이 알고리즘을 사용하여, 각 단계에서 선택된 좌표의 피드백만 관찰함으로써 가장 큰 경계 감소를 유도하는 좌표를 학습한다.
• 벨로이드 학습 과정을 표준 좌표 강하 업데이트와 통합하여, 추정된 경계 감소 비례로 좌표를 선택한다.
• 경계 감소 추정치를 유지하고, 선택된 좌표에서 온 피드백을 사용해 이를 업데이트하는 벨로이드 기반 알고리즘 B_max_r을 제안한다.
• 탐색과 이용의 균형을 이루기 위해 ε 및 E 매개변수를 가진 매개변수화된 탐색 전략을 활용한다.
• 이 방법은 Lasso, 로지스틱 회귀, 리지 회귀 등 다양한 최적화 문제에 적용 가능하며, 원형 및 이중 형태 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 모든 감소를 명시적으로 계산하지 않고도, 벨로이드 기반 접근이 좌표 강하에서 비용 함수 감소가 가장 큰 좌표를 학습하여 선택할 수 있는가?
• RQ2 제안된 벨로이드 기반 방법의 수렴 속도는 최적의 좌표 선택(마크_에르) 및 기존의 적응형 방법과 비교해 어떻게 되는가?
• RQ3 탐색 매개변수 ε 및 E는 벨로이드 기반 방법의 수렴 속도와 계산 비용에 어떤 영향을 미치는가?
• RQ4 좌표별 감소가 반복 과정에서 크게 변동하더라도 이 방법이 빠른 수렴을 유지할 수 있는가?

주요 결과

• 제안된 벨로이드 기반 방법 B_max_r은 모든 경계 감소를 평가하는 최적의 max_r 방법과 동일한 수렴 속도를 달성하면서도 계산 비용을 d 배 감소시킨다.
• 실험 결과, B_max_r은 유니폼 샘플링, gap_per_epoch, 그리고 Approx 및 ada-gap과 같은 최신 적응형 방법보다 Lasso, 로지스틱 회귀, 리지 회귀 전반에서 뛰어난 성능을 보였다.
• a9a 데이터셋에서 ε=0.5 및 E=2d/5를 사용한 B_max_r은 다른 구성보다 더 적은 반복 횟수 내에 -5의 로그-서브옵티멀리티 갭을 달성했으며, E=2d/5를 초과할 경우에도 시계열 시간이 거의 증가하지 않았다.
• 이 방법은 좌표별 경계 감소의 고분산에 대해 강건하며, 이중성 갭이 반복 간에 크게 변동하더라도 효과적으로 적응한다.
• B_max_r은 유니폼 샘플링 및 gap_per_epoch보다 더 빠른 수렴 속도를 보이며, 더 적은 반복 횟수로 더 낮은 서브옵티멀리티 갭에 도달함으로써 Approx 및 ada-gap의 성능을 따라하거나 능가한다.