[논문 리뷰] Stochastic Dual Coordinate Ascent with Alternating Direction Multiplier Method

Taiji Suzuki|arXiv (Cornell University)|2013. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 8

한 줄 요약

이 논문은 복잡한 정규화를 갖는 정규화 학습 문제를 해결하기 위해 확률적 이중좌표상승(SDCA)과 교대 방향 승수법(ADMM)을 결합한 확률적 최적화 방법인 SDCA-ADMM를 제안한다. 약간의 샘플이나 미니배치를 사용하면서도 온건한 조건 하에 지수 수렴를 유지함으로써, 대량의 메모리가 필요하지 않게 구조적 희박성 및 기타 복잡한 정규화를 효율적으로 처리하며, 기존의 배치 및 온라인 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a new stochastic dual coordinate ascent technique that can be applied to a wide range of regularized learning problems. Our method is based on Alternating Direction Multiplier Method (ADMM) to deal with complex regularization functions such as structured regularizations. Although the original ADMM is a batch method, the proposed method offers a stochastic update rule where each iteration requires only one or few sample observations. Moreover, our method can naturally afford mini-batch update and it gives speed up of convergence. We show that, under mild assumptions, our method converges exponentially. The numerical experiments show that our method actually performs efficiently.

연구 동기 및 목표

• 구조적 희박성과 같은 복잡한 정규화 함수를 처리하면서도 지수 수렴을 유지하는 확률적 최적화 방법을 개발하는 것.
• 기존의 배치 ADMM가 겪는 메모리 및 계산 제약을 극복하기 위해 단일 또는 미니배치 샘플을 사용하는 확률적 업데이트 규칙을 도입하는 것.
• SDCA(빠른 수렴)와 ADMM(복잡한 정규화 처리의 유연성)의 장점을 통합한 유일한 프레임워크를 구축하는 것.
• SAG와 마찬가지로 모든 기울기를 저장하지 않고도 데이터 샘플을 재사용함으로써 대규모 데이터셋에서 효율적이고 확장 가능한 학습을 가능하게 하는 것.
• 약한 상관관계 가정 하에, 서브배치 업데이트가 단일 샘플 업데이트보다 수렴 속도를 향상시킬 수 있는지 확인하는 것.

제안 방법

• 데이터 포인트 또는 미니배치를 무작위로 샘플링하는 방식으로, ADMM의 확률적 변종인 SDCA-ADMM를 제안한다.
• ADMM의 하위문제를 이중 최적화 문제로 변환하여, 무작위로 선택된 샘플에 기반해 이중 변수를 업데이트한다.
• 개별 샘플 또는 소규모 그룹에 대응하는 이중 변수를 업데이트하기 위해 확률적 좌표상승 규칙을 사용함으로써, 반복당 비용을 감소시킨다.
• 하나의 반복에서 샘플의 부분 집합(서브배치)만을 사용하는 블록 방식의 업데이트 전략을 도입하여 더 빠른 수렴을 가능하게 한다.
• 수렴 분석을 위해 라플라스 함수를 사용하며, 강凸성과 미분 가능성 가정 하에 이중성 갭의 지수 감쇠를 보여준다.
• 서브배치 크기에 따라 달라지는 수렴 경계를 유도하며, 더 크거나 상관성이 낮은 서브배치일수록 더 빠른 수렴 속도를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 ADMM는 강한 볼록성과 미분 가능성 조건 하에 지수 수렴을 유지하면서도 메모리 사용량을 줄이는 확률적 환경으로 일반화될 수 있는가?
• RQ2 미니배치 사용이 제안된 확률적 ADMM 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 그룹화 라소나 그래프 정규화 희박성과 같이 프록시 연산자가 계산하기 어려운 복잡한 정규화 함수를 효율적으로 처리할 수 있는가?
• RQ4 손실 함수와 정규화 함수에 대해 온건한 가정 하에 제안된 방법의 이론적 수렴 거동은 어떠한가?
• RQ5 서브배치 업데이트가 단일 샘플 업데이트 대비 수렴 속도와 계산 효율성 측면에서 실용적인 성능 향상을 제공하는가?

주요 결과

• 제안된 SDCA-ADMM 방법은 손실 함수의 강볼록성과 미분 가능성에 대한 온건한 가정 하에 지수 수렴을 달성한다.
• 샘플 간 상관관계가 낮을수록 서브배치 업데이트가 단일 샘플 업데이트보다 수렴 속도를 빠르게 한다.
• 모든 기울기를 저장할 필요 없이 매 반복에 하나 또는 몇 개의 샘플만 처리함으로써 낮은 메모리 사용을 유지한다. 이는 SAG와 같은 기존 방법과의 대비에서 유리하다.
• 이론적으로 수렴 속도가 서브배치 크기에 따라 제약을 받으며, 더 크거나 상관성이 낮은 배치일수록 더 빠른 수렴 속도를 보인다.
• 수치 실험 결과, SDCA-ADMM는 다양한 구조적 정규화 작업에서 효율적으로 작동하며, 표준 확률적 및 배치 방법보다 뛰어난 성능을 보였다.
• 표준 SDCA가 이중 계산이 비가역적이기 때문에 실패하는 경우에도, SDCA-ADMM는 오버랩드 그룹 라소와 트레이스 노름 정규화와 같은 복잡한 정규화의 적용 범위를 효과적으로 확장한다.