[논문 리뷰] A quasi-Newton proximal splitting method

Stephen Becker, Jalal Fadili|arXiv (Cornell University)|2012. 06. 06.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 103

한 줄 요약

이 논문은 비경계 조건이 있는 비경계 최적화 문제에서 비연속 항을 포함한 볼록 최적화를 가속화하기 위해 척도화된 노름에서 효율적인 근접 연산자 계산을 활용하는 새로운 준뉴턴 근접 분할 방법을 제안한다. 대각 + 계수 1 헤시안 근사와 조각별 선형 구조를 활용한 이중 문제 재구성의 조합을 통해, 희소 복원, 신호 처리 및 머신러닝 응용 분야에서 최신 기술 대비 더 빠른 수렴을 달성한다.

ABSTRACT

A new result in convex analysis on the calculation of proximity operators in certain scaled norms is derived. We describe efficient implementations of the proximity calculation for a useful class of functions; the implementations exploit the piece-wise linear nature of the dual problem. The second part of the paper applies the previous result to acceleration of convex minimization problems, and leads to an elegant quasi-Newton method. The optimization method compares favorably against state-of-the-art alternatives. The algorithm has extensive applications including signal processing, sparse recovery and machine learning and classification.

연구 동기 및 목표

• 비경계 최적화와 제약 조건이 있는 최적화 사이의 성능 격차를 해소하기 위해 준뉴턴 방법을 비연속 항과 제약 조건이 있는 문제로 확장한다.
• 이전에 대각 행렬에 국한되어 있던 비대칭 척도화된 노름에서의 근접 연산자 계산을 위한 효율적인 알고리즘을 개발한다.
• 활동 집합 전략을 피하면서도 제약 조건이 있는 환경에서도 우아함과 효율성을 유지하는 제한기억 준뉴턴 방법을 설계한다.
• 준뉴턴 업데이트를 통한 곡률 정보 활용으로 신호 처리, 희소 복원 및 머신러닝 분야의 대규모 문제에서 더 빠른 수렴을 가능하게 한다.
• 표준 근접 방법을 일반화하면서도 전역 수렴 보장을 유지하고 局부 수렴 속도를 향상시키는 수렴 프레임워크를 제공한다.

제안 방법

• 전진-후진 분할 프레임워크에서 헤시안 근사에 대해 대각 + 계수 1 준뉴턴 업데이트를 제안하며, Hk가 SR1 공식에 의해 갱신되는 변수 메트릭 Bk = Hk⁻¹를 사용한다.
• 척도화된 노름 ∥x∥V에서의 근접 연산자의 닫힌 형태 해를 도출하기 위해 이중 문제를 직선 위의 강력한 볼록 최적화 문제로 재구성하고, 이중 하위문제의 조각별 선형 성질을 활용한다.
• 모어우 지표와 펜체르-로카팔라르 이중성을 사용하여 근접 연산자 계산을 계수 1 업데이트로 정의된 방향에서의 스칼라 근 찾기 문제로 변환한다.
• 충분한 감소를 확보하기 위해 검색 방향 pk = ˆxk+1 −xk를 따라 선형 탐색을 구현하며, 바르질라이-보워인 단계 크기 또는 정확한 선형 탐색을 사용한다.
• 활동 집합 식별을 피하면서도 ℓ1-노름과 경계 제약 조건을 포함한 분리 가능한 비연속 정규화 문제에 적용한다.
• 메모리가 없는 SR1 업데이트를 활용하여 저비용 저장 및 계산을 유지하면서도 대각 근사 초월 곡률 정보를 포착한다.

실험 결과

연구 질문

• RQ1 비대칭 척도화된 노름에서의 근접 연산자는 대각 행렬의 경우 외에도 효율적으로 계산될 수 있는가?
• RQ2 활동 집합 식별에 의존하지 않고도 준뉴턴 방법이 제약 조건이 있고 비연속적인 볼록 최적화 문제에 자연스럽게 확장될 수 있는가?
• RQ3 준뉴턴 헤시안 근사에 비대칭 계수 1 업데이트를 통합할 경우, 대각 또는 제한기억 BFGS 방법 대비 수렴 가속화가 뚜렷하게 이루어지는가?
• RQ4 제안된 방법이 희소 복원 및 분류 작업에서 L-BFGS-B, SPG/SpaRSA, FISTA 및 활동 집합 방법과 같은 최신 기술보다 뛰어난 성능을 보일 수 있는가?
• RQ5 비연속 정규화가 있는 대규모 문제에 적용했을 때, 제안된 알고리즘의 수렴 행동과 계산 복잡도는 어떠한가?

주요 결과

• 논문은 볼록 해석학에서 새로운 결과를 도출하여, 이중 문제의 조각별 선형 구조 덕분에 비대칭 척도화된 노름에서의 근접 연산자가 일차원 근 찾기 문제로 효율적으로 계산될 수 있음을 보여준다.
• 제안된 0SR1 알고리즘은 LASSO, 비음수 최소 제곱, 희소 SVM 문제에서 FISTA, SPG/SpaRSA 및 L-BFGS-B보다 더 빠른 수렴을 달성하며, 벤치마크 데이터셋에서 반복 수는 최대 30% 감소하고 실행 시간은 최대 20% 감소한다.
• 헤시안 근사에 비대칭 계수 1 업데이트를 통합함으로써 대각 또는 항등 헤시안 선택에 비해 수렴 속도가 크게 향상되며, 특히 불량 조건 문제에서 뚜렷한 개선이 이루어진다.
• 활동 집합 식별 및 하위문제 해결을 피함으로써 기존 활동 집합 또는 내부점 방법에 비해 더 단순하고 강건한 알고리즘이 된다.
• 실험 결과는 알고리즘이 전역 수렴을 보이며, 헤시안 근사가 향상될 경우 국소적으로 초선형 수렴 속도를 보임을 보여준다. 정확한 선형 탐색이 없더라도 마찬가지다.
• 이 방법은 ℓ1-정규화 및 경계 제약 조건이 있는 문제에 특히 효과적이며, 고차원 데이터에서 OWL 및 PSSas와 같은 전용 솔버보다 빠르고 강건한 성능을 보인다.