[논문 리뷰] Global and Quadratic Convergence of Newton Hard-Thresholding Pursuit

Shenglong Zhou, Naihua Xiu외 1명|arXiv (Cornell University)|2019. 01. 09.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 11

한 줄 요약

이 논문은 뉴턴 방법을 하드-트러싱 프레임워크에 통합한 새로운 알고리즘인 뉴턴 하드-트러싱 퍼스위트(NHTP)를 제안한다. 이 알고리즘은 약한 가정 하에 정류점으로의 전역 수렴을 보장하며, 제한된 강凸성과 미분 가능성 조건 하에서는 이차 수렴을 보인다. 이는 압축 측정과 희소 회귀에서 뉴턴 기반 하드-트러싱 방법의 경험적 효율성을 이론적으로 정당화한다.

ABSTRACT

Algorithms based on the hard thresholding principle have been well studied with sounding theoretical guarantees in the compressed sensing and more general sparsity-constrained optimization. It is widely observed in existing empirical studies that when a restricted Newton step was used (as the debiasing step), the hard-thresholding algorithms tend to meet halting conditions in a significantly low number of iterations and are very efficient. Hence, the thus obtained Newton hard-thresholding algorithms call for stronger theoretical guarantees than for their simple hard-thresholding counterparts. This paper provides a theoretical justification for the use of the restricted Newton step. We build our theory and algorithm, Newton Hard-Thresholding Pursuit (NHTP), for the sparsity-constrained optimization. Our main result shows that NHTP is quadratically convergent under the standard assumption of restricted strong convexity and smoothness. We also establish its global convergence to a stationary point under a weaker assumption. In the special case of the compressive sensing, NHTP effectively reduces to some of the existing hard-thresholding algorithms with a Newton step. Consequently, our fast convergence result justifies why those algorithms perform better than without the Newton step. The efficiency of NHTP was demonstrated on both synthetic and real data in compressed sensing and sparse logistic regression.

연구 동기 및 목표

• 뉴턴 기반 하드-트러싱 알고리즘의 경험적 효율성과 그에 비해 약한 이론적 수렴 보장 간의 이론적 격차를 메우기 위해.
• 제한된 뉴턴 단계를 사용하는 알고리즘의 강력한 수렴 속도—특히 이차 수렴—를 확립하기 위해, 이는 최첨단 하드-트러싱 방법에서 핵심 요소인 디비어스링의 핵심 구성 요소이다.
• 일반적인 희소성 제약 최적화 및 압축 측정에 적용 가능한 뉴턴 하드-트러싱 퍼스위트(NHTP)의 통합된 이론적 프레임워크를 제공하기 위해.
• 뉴턴 단계의 포함이 수렴 속도를 크게 향상시켜 실용적 구현에서의 사용을 정당화할 수 있음을 보여주기 위해.

제안 방법

• 지원 집합 식별을 위한 기울기 기반 선택, 식별된 지원 집합에서 뉴턴 기반 디비어스링, 희소성 유지의 위한 정제를 포함하는 세 단계 반복 알고리즘인 뉴턴 하드-트러싱 퍼스위트(NHTP)를 제안한다.
• 뉴턴 단계에서 제한된 헤시안 행렬 근사치를 사용하여, 활성 지원 집합 $ T_k $ 에서만 부분 문제를 해결함으로써 계산 효율성을 확보한다.
• 적응형 스텝 크기를 가진 아르미조 선색색을 사용하며, 최종적으로 $ \alpha_k = 1 $ 이 되는 것을 증명함으로써 초선형 수렴 행동을 가능하게 한다.
• 기울기와 희소성 위반 항을 조합한 미리미터 함수 $ F_\eta(\mathbf{x}; T) $ 를 도입하여 정류성과 수렴을 측정하는 데 사용한다.
• 헤시안의 테일러 전개와 리프슈츠 상수 $ L_f $ 및 제한된 강凸성 매개변수 $ m_{2s} $ 의 경계를 통해 수렴을 확립한다.
• 미리미터 함수의 노름과 해와의 거리 사이의 관계를 위해 자코비안의 특이값 $ F'_\eta(\mathbf{x}^*; T_k) $ 를 사용하여 이차 수렴 분석이 가능하게 한다.

실험 결과

연구 질문

• RQ1 희소 최적화에서 뉴턴 기반 하드-트러싱 방법의 경험적 성공은 이론적으로 정당화될 수 있는가?
• RQ2 제한된 뉴턴 단계의 포함이 순수 기울기 기반 하드-트러싱과 비교해 더 빠른 수렴을 이끌어내는 조건은 무엇인가?
• RQ3 뉴턴 하드-트러싱 퍼스위트(NHTP)는 기존 방법보다 더 약한 가정 하에서도 정류점으로의 전역 수렴을 달성하는가?
• RQ4 제한된 강凸성과 미분 가능성 등의 표준 가정 하에서 NHTP의 수렴 속도는 어떠한가?
• RQ5 NHTP의 이차 수렴은 CoSaMP와 HTP와 같은 알고리즘에서 관찰된 낮은 반복 횟수를 어떻게 설명하는가?

주요 결과

• NHTP는 더 약한 제약 조건인 제한된 강凸성과 미분 가능성 조건 하에서도 정류점으로의 전역 수렴을 달성한다.
• 표준 가정인 제한된 강凸성과 미분 가능성 하에서 NHTP는 이차 수렴을 보이며, 충분히 큰 $ k $ 에 대해 $ \|\mathbf{x}^{k+1} - \mathbf{x}^*\| \leq C \|\mathbf{x}^k - \mathbf{x}^*\|^2 $ 를 만족한다.
• 헤시안의 테일러 전개와 리프슈츠 상수 $ L_f $ 및 제한된 고유값 $ m_{2s} $ 의 경계를 통해 수렴 속도를 확립하였으며, 이는 해에 가까워질수록 오차가 이차적으로 감소함을 보여준다.
• 알고리즘은 아르미조 선색색이 결국 전체 스텝 크기 $ \alpha_k = 1 $ 을 사용함을 보장하여, 이차 수렴을 달성하는 데 핵심적이다.
• 미리미터 함수 $ \|F_\eta(\mathbf{x}; T)\|^2 $ 가 해와의 거리의 제곱에 비례하는 상한선 아래에 있음을 보여주어 국소 초선형 행동을 확인한다.
• 압축 측정과 희소 로지스틱 회귀에서, NHTP는 반복 횟수와 수렴 속도 측면에서 표준 하드-트러싱 방법보다 뛰어나며, 이는 이론적 결과를 경험적으로 검증한다.