[논문 리뷰] Robust Block Coordinate Descent

Kimon Fountoulakis, Rachael Tappenden|arXiv (Cornell University)|2014. 07. 28.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 기울기 정보 외에 근사적인 부분적 2차 정보(곡률)를 통합하여 악조건화되거나 매우 비분리적인 문제에서 수렴 성능을 향상시키는 강건한 좌표 강내법(Robust Coordinate Descent, RCD)을 소개한다. 곡률 데이터를 사용해 이차 모델을 구성하고, 백트랙킹 선 탐색을 활용한 비정확한 하위문제 해법을 적용함으로써 RCD는 전역 수렴을 보장하면서 국소 수렴 속도를 높이며, $β$-정규화 로지스틱 회귀와 같은 대규모 문제에서 일阶 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper we present a novel randomized block coordinate descent method for the minimization of a convex composite objective function. The method uses (approximate) partial second-order (curvature) information, so that the algorithm performance is more robust when applied to highly nonseparable or ill conditioned problems. We call the method Robust Coordinate Descent (RCD). At each iteration of RCD, a block of coordinates is sampled randomly, a quadratic model is formed about that block and the model is minimized approximately/inexactly to determine the search direction. An inexpensive line search is then employed to ensure a monotonic decrease in the objective function and acceptance of large step sizes. We prove global convergence of the RCD algorithm, and we also present several results on the local convergence of RCD for strongly convex functions. Finally, we present numerical results on large-scale problems to demonstrate the practical performance of the method.

연구 동기 및 목표

• 악조건화되거나 매우 비분리적인 문제에서 일阶 랜덤 좌표 강내법의 열악한 성능을 해결한다.
• 복잡한 희소 문제에서 진행을 저해하는 곡률을 포착하지 못하는 일阶 방법의 한계를 극복한다.
• 근사적인 2차 정보를 통합하여 강건성과 수렴 속도를 향상시킬 수 있는 블록 좌표 강내법을 개발한다.
• 비정확한 하위문제 해법과 선 탐색을 통해 매 반복의 계산 비용을 낮추면서도 전역 수렴을 보장한다.
• 대규모 문제, 특히 $β$-정규화 로지스틱 회귀와 압축 측정 응용에서 실용적 우수성을 입증한다.

제안 방법

• 각 반복에서 랜덤으로 좌표 블록을 선택해 갱신한다.
• 선택된 블록에 대해 근사적인 2차 정보(헤시안)를 사용해 이차 모델을 구성한다.
• 이전 연구에서 영감을 얻은 정지 기준을 사용해 하위문제를 근사적으로 해결한다.
• 목적 함수의 단조 감소를 보장하고 큰 스텝 사이즈를 수용하기 위해 저비용의 백트랙킹 선 탐색을 적용한다.
• 블록 크기와 헤시안 정확도에 따라 일阶에서 2차 행동까지 범위를 넓힐 수 있는 블록 단위 갱신 전략을 사용한다.
• 선 탐색과 곡률 인식 내림방향을 통해 하위문제 해법의 비정확성과 전역 수렴 보장을 통합한다.

실험 결과

연구 질문

• RQ1 블록 좌표 강내법에 근사적인 2차 정보를 통합하면 악조건화되거나 비분리적인 문제에서 수렴 성능이 향상되는가?
• RQ2 곡률 정보의 사용이 일阶 방법과 비교해 반복 복잡도와 전체 런타임에 어떤 영향을 미치는가?
• RQ3 비정확한 하위문제 해법과 백트랙킹 선 탐색이 수렴 보장과 실용적 성능에 미치는 영향은 무엇인가?
• RQ4 곡률 활용을 통해 더 빠른 수렴을 달성하면서도 매 반복 비용을 낮출 수 있는가?
• RQ5 실제 대규모 문제에서 기존의 랜덤 좌표 강내법과 비교해 RCD는 수렴 속도와 강건성 측면에서 어떻게 다른가?

주요 결과

• RCD는 표준 가정 하에 전역 수렴을 달성했으며, 기대값 기반으로 이차 또는 초이차 수렴 속도를 보였다.
• webspam 데이터셋에서 RCD v.2는 높은 정확도에 도달하기까지 한 시간 이내에 문제를 해결했으며, 높은 매 반복 비용에도 불구하고 모든 다른 방법보다 뛰어난 성능을 보였다.
• webspam 및 kdd2010 데이터셋 모두에서 RCD 버전은 UCDC 변형보다 적은 반복 수를 필요로 했으며, RCD v.1이 전체적으로 가장 빠르게 작동했다.
• 백트랙킹 선 탐색에서 반복의 대부분에서 단위 스텝 사이즈가 수용되었으며, 이는 곡률 정보가 효과적인 내림방향을 제공했음을 시사한다.
• RCD v.1은 대각 헤시안 근사만을 사용했음에도 불구하고 RCD v.2보다 매 반복의 목적 함수 감소량에서 뛰어난 성능을 보였으며, 이는 대각 곡률 정보만으로도 상당한 성능 향상이 가능함을 시사한다.
• 특히 악조건화되거나 비분리적인 설정에서 표준 좌표 강내법이 어려움을 겪는 어려운 문제들에서도 RCD는 강건성을 입증했다.