[논문 리뷰] Proximal Quasi-Newton for Computationally Intensive L1-regularized M-estimators

Kai Zhong, En-Hsu Yen외 2명|arXiv (Cornell University)|2014. 06. 27.

Machine Learning and Algorithms참고 문헌 26인용 수 15

한 줄 요약

이 논문은 계산 비용이 높은 $μat$-정규화된 M-추정량, 특히 조건부 난수 필드(CRFs)에 대해 계산 비용이 높은 경량화된 활성 집합 선택을 갖춘 프록시멀 쿼asi-뉴턴 알고리즘을 제안한다. 강한 볼록성 조건을 가정하지 않더라도 상수 영공간 강한 볼록성(CNSC)을 활용하여 증명 가능한 초선형 수렴을 달성하며, 시퀀스 레이블링 및 계층적 분류 작업에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We consider the class of optimization problems arising from computationally intensive L1-regularized M-estimators, where the function or gradient values are very expensive to compute. A particular instance of interest is the L1-regularized MLE for learning Conditional Random Fields (CRFs), which are a popular class of statistical models for varied structured prediction problems such as sequence labeling, alignment, and classification with label taxonomy. L1-regularized MLEs for CRFs are particularly expensive to optimize since computing the gradient values requires an expensive inference step. In this work, we propose the use of a carefully constructed proximal quasi-Newton algorithm for such computationally intensive M-estimation problems, where we employ an aggressive active set selection technique. In a key contribution of the paper, we show that the proximal quasi-Newton method is provably super-linearly convergent, even in the absence of strong convexity, by leveraging a restricted variant of strong convexity. In our experiments, the proposed algorithm converges considerably faster than current state-of-the-art on the problems of sequence labeling and hierarchical classification.

연구 동기 및 목표

• 계산 비용이 높은 $μat$-정규화된 M-추정량 최적화 문제를 해결하기 위해, 특히 CRFs에서 기울기 평가가 비용이 많이 드는 상황을 다루는 것.
• 반복값의 희소성과 활성 집합 선택을 통한 기울기 평가 비용 감소를 유지하는 프록시멀 쿼اسي-뉴턴 방법을 개발하는 것.
• 강한 볼록성을 가정하지 않아도 Prox-QN의 증명 가능한 초선형 수렴을 확립하는 것. 이는 고차원 또는 중복된 특징 설정에서 자주 실패하는 강한 볼록성 조건을 피하는 데 기여한다.
• 최신 기술 대비 시퀀스 레이블링 및 계층적 분류 작업에서 더 빠른 수렴 속도와 희소성 성능을 실증적으로 입증하는 것.

제안 방법

• L-BFGS 업데이트를 사용하여 목적함수의 이차 근사 모델을 구성하는 프록시멀 쿼اسي-뉴턴 프레임워크를 적용함으로써, 헤시안 행렬 계산을 줄이고 이차 최적화를 가능하게 한다.
• 공격적인 활성 집합 선택(수축 전략)을 사용함. 작업 집합은 에포크 단위로 반복적으로 감소시키며, 활성 변수에 대해서만 부분 기울기를 평가함으로써 시간 복잡도를 $O(d)$에서 $O(nnz)$로 감소시킨다.
• L-BFGS 업데이트를 수축 절차에 적응시켜, 감소된 변수 집합에서도 정확도를 유지하고 수렴 안정성을 확보한다.
• 데이터와 반복값을 특징 인덱스 기반 구조로 저장하여 데이터의 희소성과 반복값의 희소성을 모두 활용함으로써 메모리 및 계산 오버헤드를 최소화한다.
• 비영인 변수들만 업데이트함으로써 중간 반복값의 희소성을 유지하며, 최적 해의 희소성와 일치시킨다.
• 제약 강한 볼록성 조건인 상수 영공간 강한 볼록성(CNSC) 하에서 수렴을 분석함. 이 조건은 $μat$-정규화된 CRF 최대우도 추정량을 포함한 일반적인 M-추정량에 대해 성립한다.

실험 결과

연구 질문

• RQ1 강한 볼록성을 가정하지 않아도 $μat$-정규화된 M-추정량에 대해 프록시멀 쿼اسي-뉴턴 방법이 초선형 수렴을 달성할 수 있는가?
• RQ2 계산 비용이 높은 환경에서 활성 집합 선택을 어떻게 공격적으로 적용하여 기울기 평가 비용을 줄일 수 있는가?
• RQ3 작은 작업 집합으로 수축할 경우 L-BFGS 업데이트를 어떻게 적응시켜 정확도를 유지할 수 있는가?
• RQ4 제안된 방법이 CRF 기반 시퀀스 레이블링 및 계층적 분류 작업에서 최신 기술 대비 수렴 속도와 희소성에서 뛰어난 성능을 보일 수 있는가?
• RQ5 상수 영공간 강한 볼록성(CNSC)은 비강한 볼록 환경에서 초선형 수렴을 위한 충분조건인가?

주요 결과

• 제안된 Prox-QN 방법은 시퀀스 레이블링 및 계층적 분류 작업에서 최신 기술 대비 상당히 더 빠른 수렴 속도를 보이며, 목적함수 차이와 비영인 매개변수 곡선을 통해 이를 입증하였다.
• CNSC 조건 하에서 강한 볼록성을 가정하지 않아도 증명 가능한 초선형 수렴을 달성하며, 이는 주요 이론적 기여이다.
• OCR 시퀀스 레이블링 작업에서, SGD와 BCD보다 더 적은 비영인 매개변수 수와 낮은 목적함수 값을 더 빨리 달성하는 희소 해를 도달하였다.
• 12100만 개의 매개변수를 가진 계층적 분류 작업에서는 높은 희소성과 빠른 수렴을 달성하였으며, 목적함수 감소와 희소성 측면에서 SGD와 BCD를 모두 능가하였다.
• 공격적인 활성 집합 전략은 기울기 평가 비용을 반복당 $O(nnz)$로 감소시켜 고차원 매개변수 공간에서도 효율적인 계산을 가능하게 하였다.
• OCR에서 $\lambda=100$, 계층적 분류에서 $\lambda=1$일 때도 높은 테스트 정확도를 유지하면서도 해의 최적 희소성을 달성하였다.