[논문 리뷰] Practical Inexact Proximal Quasi-Newton Method with Global Complexity Analysis

Katya Scheinberg, Xiaocheng Tang|arXiv (Cornell University)|2013. 11. 26.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 17

한 줄 요약

이 논문은 대규모 희소 최적화 문제를 해결하기 위해 랜덤라이즈드 좌표 강하를 사용하는 실용적인 비정확한 프록시멀 쿼asi-뉴턴 방법을 제안하며, 약한 하위문제 정확도 요구 조건 하에서 새로운 전역 수렴 속도 분석을 제공한다. 기대값에 대한 하향 수렴을 확립하고, 실제 데이터셋에서 LIBLINEAR과 같은 최첨단 방법들과 경쟁 가능한 성능을 보인다.

ABSTRACT

Recently several methods were proposed for sparse optimization which make careful use of second-order information [10, 28, 16, 3] to improve local convergence rates. These methods construct a composite quadratic approximation using Hessian information, optimize this approximation using a first-order method, such as coordinate descent and employ a line search to ensure sufficient descent. Here we propose a general framework, which includes slightly modified versions of existing algorithms and also a new algorithm, which uses limited memory BFGS Hessian approximations, and provide a novel global convergence rate analysis, which covers methods that solve subproblems via coordinate descent.

연구 동기 및 목표

• 이차 정보를 비효율적으로 사용할 때에도 대규모 희소 최적화에서 비정확한 하위문제 해를 사용한 전역 수렴을 달성하는 데 도전하는 문제를 해결한다.
• 제한된 메모리 BFGS 헤시안 근사와 좌표 강하를 통한 비정확한 하위문제 해를 결합한 프레임워크를 개발하여 확장 가능하고 효율적인 최적화를 가능하게 한다.
• 비정확한 하위문제 해를 사용하는 방법에 대한 전역 수렴 속도 분석을 제공하며, 이전 연구에 비해 하위문제 정확도에 대한 가정을 완화한다.
• 희소 학습 문제, 예를 들어 희소 로지스틱 회귀와 Lasso에 대해 제안된 방법의 실용적 효과성을 입증한다. 일부 경우에서 전용 솔버보다 뛰어난 성능을 보인다.
• 선형 탐색을 신뢰 영역 유사 충족 감소 조건과 프록스 파라미터 갱신으로 대체하여, 헤시안 정확도에 대한 강력한 가정 없이도 전역 수렴을 보장한다.

제안 방법

• 부드럽고 리프시츠 연속 기울기를 가지는 함수 $ f $ 와 구조가 잘 정의된 볼록 함수 $ g $ (예: $ \lambda\|x\|_1 $)로 구성된 복합 볼록 함수 $ F(x) = f(x) + g(x) $ 를 최소화하는 최적화 문제로 공식화한다.
• 현재 반복값을 중심으로 하는 이차 모델을 사용해 부드러운 부분 $ f(x) $ 를 근사하며, 전체 헤시안 계산을 피하기 위해 제한된 메모리 BFGS 헤시안 근사를 사용한다.
• 얻어진 하위문제 $ \min_x \{ g(x) + \frac{1}{2}\|x - z\|_H^2 \} $ 를 랜덤라이즈드 좌표 강하를 사용해 근사적으로 해결한다. 이는 $ H $ 가 대각 행렬과 저랭크 행렬의 합일 경우에 효율적이다.
• 선형 탐색을 대체하기 위해, 신뢰 영역 유사 충족 감소 조건과 함께 프록스 파라미터 갱신 메커니즘을 도입하여, 정확한 하위문제 해가 필요 없이도 전역 수렴을 보장한다.
• 주기적 강하 대신 랜덤라이즈드 좌표 강하를 사용하여 수렴 성질을 향상시키고, 더 약한 가정 하에서도 이론적 분석을 지원한다.
• 하위문제 해가 비정확할 경우에도 전체 반복 수를 제한함으로써 기대값에 대한 하향 수렴 속도로 전역 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 랜덤라이즈드 좌표 강하를 통한 비정확한 하위문제 해가 프록시멀 쿼اسي-뉴턴 방법의 맥락에서 여전히 기대값에 대한 하향 수렴 속도로 전역 수렴을 보장할 수 있는가?
• RQ2 전역 수렴과 증명 가능한 수렴 속도를 보장하기 위해 하위문제 정확도에 대해 필요한 최소 조건은 무엇인가?
• RQ3 기존 최첨단 솔버인 LIBLINEAR과 비교해 실제 대규모 희소 학습 문제에서 제안된 프레임워크의 성능은 어떠한가?
• RQ4 프록스 파라미터 갱신과 함께 신뢰 영역 유사 충족 감소 조건이 선형 탐색을 대체할 수 있으며, 전역 수렴과 효율성을 유지할 수 있는가?
• RQ5 제한된 메모리 BFGS 헤시안 근사와 비정확한 좌표 강하의 조합이 실제 희소 최적화 작업에서 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 하위문제 해가 비정확할 경우에도 기대값에 대한 하향 수렴 속도로 전역 수렴을 달성하며, 이전의 비정확한 프록시멀 그라디언트 방법보다 오차 허용 범위가 더 약한 조건을 요구한다.
• 수렴을 위해 필요한 내부 반복 수의 총합이 제한되어 있으며, 이는 이전 연구 대비 효율성을 향상시킨다. 이는 대규모 문제에 특히 유리하다.
• a9a, slices, gisette, epsilon 데이터셋에서 제안된 LHAC 및 LHAC-L 방법은 LIBLINEAR보다 수렴 속도와 메모리 효율성에서 뛰어나며, 특히 slices 데이터셋에서 최대 한 단계 빠른 속도를 기록했다.
• 가장 큰 데이터셋인 epsilon(100,000개 샘플)에서 LHAC와 LHAC-L은 LIBLINEAR와 동일한 정밀도를 달성했지만, 시간은 1/3으로 줄였다. 이는 확장성을 입증한다.
• 제안된 방법의 메모리 사용량은 LIBLINEAR의 절반 미만이며, 특히 epsilon과 같은 대규모 문제에서 두드러진다. 이는 효율적인 헤시안 근사와 비정확한 하위문제 해결 덕분이다.
• 이 프레임워크는 기존의 희소 최적화를 위한 여러 효율적인 알고리즘(예: 희소 로지스틱 회귀 및 희소 역공분산 선택을 위한 알고리즘)을 일반화하고 통합하며, 통합된 수렴 분석을 제공한다.