[논문 리뷰] Efficient evaluation of scaled proximal operators

Michael P. Friedlander, Gabriel Goh|arXiv (Cornell University)|2016. 03. 17.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 14

한 줄 요약

이 논문은 이차 지원(Quadratic-Support, QS) 함수의 스케일링된 프록시멀 연산자를 효율적으로 계산하기 위한 내점법을 제안하며, 이는 비미분 가능 볼록 최적화 문제를 빠르게 해결할 수 있도록 한다. 문제의 구조를 활용하고 Sherman-Woodbury 공식을 적용함으로써, 거의 선형 시간 복잡도를 달성하여 희소 최적화, 영상 정화, 로지스틱 회귀에서 프록시멀 쿼asi-뉴턴 방법의 속도를 크게 향상시킨다.

ABSTRACT

Quadratic-support functions [Aravkin, Burke, and Pillonetto; J. Mach. Learn. Res. 14(1), 2013] constitute a parametric family of convex functions that includes a range of useful regularization terms found in applications of convex optimization. We show how an interior method can be used to efficiently compute the proximal operator of a quadratic-support function under different metrics. When the metric and the function have the right structure, the proximal map can be computed with cost nearly linear in the input size. We describe how to use this approach to implement quasi-Newton methods for a rich class of nonsmooth problems that arise, for example, in sparse optimization, image denoising, and sparse logistic regression.

연구 동기 및 목표

• 비용이 많이 드는 프록시멀 연산자 평가로 인해 발생하는 프록시멀 쿼اسي-뉴턴 방법의 계산 병목 현상 해결.
• 일반적인 계량 기준 하에서 이차 지원 함수의 프록시멀 연산자를 효율적으로 계산할 수 있는 알고리즘 개발.
• 기계 학습 및 신호 처리에서 발생하는 대규모 비미분 가능 볼록 최적화 문제의 확장 가능한 해법 제공.
• 희소성, 콘형 제약 조건 등 문제 특화된 구조를 활용하여 입력 크기와 거의 선형적인 시간 복잡도 달성.
• 희소 최적화, 총 변동성 정화, 희소 로지스틱 회귀에서 실용적인 성능 향상 입증.

제안 방법

• 프록시멀 하위문제의 이중 문제를 해결하기 위해 내점법을 사용하여, 프록시멀 연산자 계산을 볼록 이차계획문제로 재구성.
• 내점법에서 발생하는 대칭 KKT 시스템을 효율적으로 해결하기 위해 Sherman-Woodbury 공식을 적용하며, 헤시안 근사에서 저랭크 구조를 활용.
• 메트릭과 QS 함수가 호환될 경우 문제의 구조를 유지하는 이중화 전략을 도입하여 효율적인 해법 확보.
• 변동하는 헤시안 근사를 사용하여 수렴성을 향상시키기 위해 프록시멀 연산자 해법기를 프록시멀 쿼اسي-뉴턴 프레임워크에 통합.
• 해법 유지 및 초선형 수렴을 위해 해석 중심 예측기와 수정기를 사용하는 원-이중 경로추종 접근 방식 구현.
• 반복 해법기 성능 향상을 위해 온난 시작 전략과 적응형 정확도 제어 도입.

실험 결과

연구 질문

• RQ1 일반적인 정정의 계량 기준 하에서 이차 지원 함수의 프록시멀 연산자를 효율적으로 계산할 수 있는가?
• RQ2 어떤 계산 기법이 구조화된 QS 함수에 대해 거의 선형 시간 복잡도로 프록시멀 연산자를 평가할 수 있게 하는가?
• RQ3 희소 최적화 문제에서 기존의 솔버와 비교해 제안된 내점법의 수렴 속도와 정확도는 어떠한가?
• RQ4 이 방법은 대규모 문제에서 수렴 속도를 향상시키기 위해 프록시멀 쿼اسي-뉴턴 방법에 효과적으로 통합될 수 있는가?
• RQ5 내점법 솔버에서 프록시멀 연산자 계산의 수치적 안정성은 어떤 역할을 하는가? 그리고 이를 어떻게 향상시킬 수 있는가?

주요 결과

• 유리한 문제 구조(예: 그룹-라소 또는 총 변동성 문제)가 있는 경우, 제안된 내점법은 이차 지원 함수의 프록시멀 연산자를 거의 선형 시간 내에 계산한다.
• 1차원 총 변동성 정화 문제에서, 메모리 크기가 10인 QSip 솔버는 수렴 속도와 정확도 면에서 Barzilai-Borwein 프록시멀 솔버를 능가했다.
• Epsilon 데이터셋(400K 개의 관측치)에서, QSip를 사용한 프록시멀 쿼اسي-뉴턴 방법은 모든 정확도 수준에서 Barzilai-Borwein 및 newGLMNet보다 빠르게 작동했다.
• Gisette 데이터셋(13.5K 개의 관측치)에서는 Barzilai-Borwein과 newGLMNet이 쿼اسي-뉴턴 접근 방식을 능가했으며, 이는 문제에 따라 성능이 달라질 수 있음을 시사한다.
• Sherman-Woodbury 공식을 사용한 내점 솔버에서 악조건화로 인한 수치적 불안정성이 관찰되어, 더 안정적인 대안이 필요함을 시사한다.
• 이deal한 조건자와 함께 MINRES와 같은 조건자된 크릴로프 해법기는 정확한 산술 기준에서 세 번의 반복 내에 수렴할 수 있었으며, 이는 향후 가속화 잠재력이 있음을 시사한다.