[논문 리뷰] A Quasi-Newton Approach to Nonsmooth Convex Optimization

Jin Yu, S. V. N. Vishwanathan외 2명|arXiv (Cornell University)|2008. 04. 24.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 국소 2차 모델링, 내림방향 식별, Wolfe 선 탐색과 같은 핵심 구성 요소를 서브미분(subdifferentials)으로 일반화하여 BFGS 및 LBFGS 준뉴턴 방법을 비미분 가능한 볼록 최적화로 확장한다. 제안된 subBFGS 알고리즘은 목적 함수 값에서 전역 수렴을 보장하며, L2-정규화된 힌지 손실 및 L1-정규화된 로지스틱 손실 문제에서 최신 기술 대비 뛰어난 성능을 보인다.

ABSTRACT

We extend the well-known BFGS quasi-Newton method and its memory-limited variant LBFGS to the optimization of nonsmooth convex objectives. This is done in a rigorous fashion by generalizing three components of BFGS to subdifferentials: the local quadratic model, the identification of a descent direction, and the Wolfe line search conditions. We prove that under some technical conditions, the resulting subBFGS algorithm is globally convergent in objective function value. We apply its memory-limited variant (subLBFGS) to L2-regularized risk minimization with the binary hinge loss. To extend our algorithm to the multiclass and multilabel settings, we develop a new, efficient, exact line search algorithm. We prove its worst-case time complexity bounds, and show that our line search can also be used to extend a recently developed bundle method to the multiclass and multilabel settings. We also apply the direction-finding component of our algorithm to L1-regularized risk minimization with logistic loss. In all these contexts our methods perform comparable to or better than specialized state-of-the-art solvers on a number of publicly available data sets. An open source implementation of our algorithms is freely available.

연구 동기 및 목표

• 특히 대규모 학습 환경에서 비미분 가능한 볼록 최적화를 위한 효과적인 준뉴턴 방법의 부족을 해결한다.
• 핵심 구성 요소를 서브미분으로 일반화하여 BFGS 및 LBFGS 프레임워크를 비미분 가능한 목적 함수를 다룰 수 있도록 확장한다.
• 다중 클래스 및 다중 레이블 확장에 적합한 효율적이고 정확한 선 탐색 알고리즘을 개발한다.
• L1-정규화된 로지스틱 손실 문제에 대해 방향 식별 구성 요소를 적용하여 전용 솔버와 비교해도 유사하거나 더 뛰어난 성능을 달성할 수 있도록 한다.
• 재현성과 실용적 구현을 지원하기 위해 오픈소스 구현을 제공한다.

제안 방법

• 기울기 대신 서브미분를 사용하여 BFGS의 국소 2차 모델링을 비미분 가능한 목적 함수로 일반화한다.
• 서브기울기를 사용하여 내림방향 식별 단계를 조정하여 목적 함수의 충분한 감소를 보장한다.
• 서브미분 기반의 곡률 조건으로 Wolfe 선 탐색 조건을 확장하여 충분한 감소와 곡률 요구 조건을 유지한다.
• 대규모 문제를 위해 메모리 제한된 변형인 subLBFGS를 제안하며, 헤시안을 근사하기 위해 최근 몇 개의 업데이트만 저장한다.
• 다중 클래스 및 다중 레이블 문제에 특화된 새로운 정확한 선 탐색 알고리즘을 설계하였으며, 최악의 경우 시간 복잡도에 대한 증명된 경계를 확보하였다.
• 방향 식별 구성 요소를 L1-정규화된 로지스틱 손실 최소화에 통합하였으며, 동일한 서브미분 프레임워크를 활용하였다.

실험 결과

연구 질문

• RQ1 BFGS 프레임워크는 서브미분를 사용하여 비미분 가능한 볼록 목적 함수로 엄밀하게 확장될 수 있는가?
• RQ2 목적 함수 값에서 유도된 subBFGS 알고리즘의 전역 수렴을 보장하는 조건은 무엇인가?
• RQ3 서브미분 기반 프레임워크를 활용하여 다중 클래스 및 다중 레이블 설정에서 효율적이고 정확한 선 탐색을 어떻게 달성할 수 있는가?
• RQ4 제안된 방법은 실제 학습 문제에서 비미분 가능한 손실을 가진 최신 기술 대비 뛰어난 성능을 보일 수 있는가?
• RQ5 다중 클래스 및 다중 레이블 설정에서 제안된 정확한 선 탐색 알고리즘의 최악의 경우 시간 복잡도는 얼마인가?

주요 결과

• 적절한 기술적 조건 하에 subBFGS 알고리즘은 목적 함수 값에서 전역 수렴을 보이며, BFGS의 수렴 보장을 비미분 가능한 설정으로 확장한다.
• L2-정규화된 리스크 최소화 문제에 대해 이진 힌지 손실을 적용한 여러 공개 데이터셋에서 subLBFGS 변형은 최신 기술 대비 유사하거나 더 뛰어난 성능을 보였다.
• 다중 클래스 및 다중 레이블 문제를 위한 제안된 정확한 선 탐색 알고리즘은 최악의 경우 시간 복잡도가 유계이며, 번들 방법을 이러한 설정으로 확장할 수 있도록 한다.
• 알고리즘의 방향 식별 구성 요소는 L1-정규화된 로지스틱 손실 최소화에 효과적이며, 전용 솔버와 비교해도 성능이 유사하거나 뛰어나다.
• 알고리즘의 오픈소스 구현 버전이 공개되어 있어 재현성과 실제 적용을 위한 기반을 마련하였다.
• 실험 결과는 비미분 가능한 손실을 가진 다양한 학습 작업, 즉 이진 분류 및 다중 클래스/다중 레이블 분류 모두에서 강력한 성능을 보였다.