[논문 리뷰] Stochastic Bound Majorization

Anna Choromanska, Tony Jebara|arXiv (Cornell University)|2013. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 로그-선형 모델 최적화를 위한 확률적 경계 주도화(SBM) 방법을 제안한다. 이 방법은 헤시안과는 다름없는 이阶 곡률 정보를 활용하는 전역적으로 보장되는 이차 상한을 사용한다. SBM은 반복 횟수와 계산 시간 측면에서 SGD 및 ASGD보다 더 빠른 수렴 속도와 더 나은 해 품질을 달성하며, 고차원 설정에서도 선형 복잡도를 유지하는 저랭크 변형을 제공한다.

ABSTRACT

Recently a majorization method for optimizing partition functions of log-linear models was proposed alongside a novel quadratic variational upper-bound. In the batch setting, it outperformed state-of-the-art first- and second-order optimization methods on various learning tasks. We propose a stochastic version of this bound majorization method as well as a low-rank modification for high-dimensional data-sets. The resulting stochastic second-order method outperforms stochastic gradient descent (across variations and various tunings) both in terms of the number of iterations and computation time till convergence while finding a better quality parameter setting. The proposed method bridges first- and second-order stochastic optimization methods by maintaining a computational complexity that is linear in the data dimension and while exploiting second order information about the pseudo-global curvature of the objective function (as opposed to the local curvature in the Hessian).

연구 동기 및 목표

• SGD와 같은 일阶 최적화 방법의 한계를 해결하기 위해, 즉 느린 수렴, 하이퍼파ram터에 대한 민감성, 정규화된 문제에서의 열 劣한 성능을 해결한다.
• 정확한 두 번째 차수 방법(예: 뉴턴 방법)의 높은 계산 비용을 해결하기 위해, 데이터 차원에서 선형 복잡도를 유지하는 확률적 변형을 개발한다.
• 일阶와 두 번째 차수 최적화 사이의 격차를 메우기 위해, 전체 헤시안을 계산하지 않고도 전역 곡률 정보를 통합한다.
• 고차원 데이터에 효율적으로 스케일링되면서도 두 번째 차수의 이점을 유지하기 위해 곡률 상한의 저랭크 근사법을 개발한다.
• 실험적으로 제안된 방법이 최신의 확률적 일阶 최적화 방법보다 더 빠른 수렴 속도와 더 나은 일반화 성능을 보임을 입증한다.

제안 방법

• 기존에 로그-분할 함수에 대한 이차 변동 상한을 사용하는 배치 기반 주도화 방법을, 반복적인 데이터 포인트 업데이트를 통해 확률적 환경에 적응시킨다.
• 수렴 보장을 유지하면서도 점진적, 확률적 매개변수 업데이트를 가능하게 하기 위해 배치 업데이트 규칙에 셔먼-모리슨 공식을 적용한다.
• 목적 함수의 가상 전역 곡률을 근사하는 전역 이차 상한에서 유도된 곡률 행렬을 사용하며, 이는 국소 헤시안과 다릅니다.
• 계산 비용을 $Ó(d)$로 줄이기 위해 곡률 행렬의 저랭크 근사법(랭크 $k=1$)을 도입하여 고차원 데이터에 대한 확장성을 확보한다.
• 전체 랭크 버전에서는 고정된 단계 크기 $η_0 = 1/t$를 유지하여 하이퍼파ram터 튜닝이 필요 없으며, 저랭크 변형에서는 단지 $η_0$만 튜닝한다.
• 주도화 기반의 구조적 특성 덕분에 수렴이 단조롭게 유지되며, 각 단계에서 목적 함수 값이 감소하지 않음을 보장한다.

실험 결과

연구 질문

• RQ1 전역 곡률 정보를 활용하면서도 선형 계산 복잡도를 유지하는 확률적 두 번째 차수 최적화 방법을 개발할 수 있는가?
• RQ2 제안된 확률적 경계 주도화(SBM) 방법의 수렴 속도와 해 품질 측면에서 SGD 및 ASGD와의 성능 비교는 어떠한가?
• RQ3 저랭크 근사가 고차원 데이터에 스케일링되면서도 두 번째 차수 최적화의 이점을 어느 정도 유지하는가?
• RQ4 다양한 데이터셋에서 첫 번째 차수의 확률적 최적화 방법보다 더 나은 일반화 성능(시험 로그우도 및 오차 측정)을 달성하는가?
• RQ5 전체 랭크 형태에서 하이퍼파ram터 튜닝이 불필요하게 만들 수 있으며, 이는 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• SBM은 Mnist, gisette, SecStr, digitl, Text 등 모든 테스트 데이터셋에서 SGD 및 ASGD보다 더 적은 반복 횟수로 수렴한다.
• 저랭크 SBM 변형은 계산 시간 측면에서 가장 빠른 수렴 속도를 보이며, 초당 로그우도 향상률에서 SGD 및 ASGD를 능가한다.
• SBM은 테스트 로그우도가 더 높고 테스트 오차가 더 낮아, 더 나은 일반화 및 해 품질을 보여준다.
• 전체 랭크 SBM 방법은 하이퍼파ram터 튜닝(예: 단계 크기)이 필요 없으며, $η_0 = 1/t$를 기본값으로 사용함에도 불구하고 튜닝된 SGD 변형보다 뛰어난 성능을 보인다.
• 확률적 성격에도 불구하고 SBM는 SGD 및 ASGD에서 관찰되는 노이즈 있는 변동과는 달리 단조로운 수렴을 보인다.
• 저랭크 근사 덕분에 데이터 차원에서 선형 계산 복잡도($Ó(d)$)를 유지하여 고차원 문제(예: Text, $d=23922$)에 대한 확장성 확보