[논문 리뷰] A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems

Peipei Tang, Chengjing Wang외 2명|arXiv (Cornell University)|2019. 03. 27.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 고차원 비볼록 제곱근 손실 회귀 문제를 해결하기 위해 희소 반연속 뉴턴 기반 프록시멀 주요화-최소화(PMM) 알고리즘을 제안한다. 커르디카-로자예브스키 성질과 하위문제에 전용으로 설계된 반연속 뉴턴 방법을 활용함으로써, 알고리즘은 d-정류점으로 수렴하며 수치 실험에서 높은 효율성을 보이며, 잡음 분산에 대한 사전 지식이 없이도 대규모 희소 회귀 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we consider high-dimensional nonconvex square-root-loss regression problems and introduce a proximal majorization-minimization (PMM) algorithm for these problems. Our key idea for making the proposed PMM to be efficient is to develop a sparse semismooth Newton method to solve the corresponding subproblems. By using the Kurdyka-Łojasiewicz property exhibited in the underlining problems, we prove that the PMM algorithm converges to a d-stationary point. We also analyze the oracle property of the initial subproblem used in our algorithm. Extensive numerical experiments are presented to demonstrate the high efficiency of the proposed PMM algorithm.

연구 동기 및 목표

• 기존의 Lasso나 제곱근 Lasso와 같은 볼록 방법이 잡음 분산을 알 수 없을 때 실패하는 고차원 비볼록 제곱근 손실 회귀 문제를 해결하는 데 도전한다.
• 잡음 수준을 사전 추정할 필요 없이도 높은 유도성과 희소성 유지가 가능한 효율적인 1차 방법을 개발한다.
• ADMM와 같은 기존 방법이 대규모 비볼록 제곱근 문제에서 계산 효율성이 떨어지는 문제를 해결하기 위해 특화된 하위문제 솔버를 도입한다.
• 비볼록 최적화 문제에 대해 유효한 커르디카-로자예브스키 성질을 기반으로 d-정류점으로의 전역 수렴을 확립하고, 초기 하위문제의 오라클 성질을 증명한다.

제안 방법

• 알고리즘은 비볼록 제곱근 손실 함수를 일련의 볼록 대체 함수로 반복적으로 근사하는 프록시멀 주요화-최소화(PMM) 프레임워크를 사용한다.
• PMM 체계 내 각 하위문제는 제곱근 손실의 조각별 연속성과 해의 희소성 구조를 활용하는 희소 반연속 뉴턴 방법으로 해결된다.
• 비볼록 정규화 요소의 d.c. (볼록 함수의 차분) 표현을 활용하여 효율적인 주요화 및 하위문제 해법을 가능하게 한다.
• 각 반복에서 목적 함수의 충분한 감소를 보장하기 위해 선 탐색 전략을 통합하여 수렴 안정성을 향상시킨다.
• 설계 행렬과 해 경로의 희소성을 활용하여 대규모 문제를 효과적으로 처리하도록 설계되었다.
• 비볼록 최적화 문제에 대해 유효한 커르디카-로자예브스키 성질을 기반으로 d-정류점으로의 수렴이 증명된다.

실험 결과

연구 질문

• RQ1 알고리즘이 잡음 분산을 알 수 없는 비볼록 제곱근 손실 회귀 문제에 대해 프록시멀 주요화-최소화 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 희소 반연속 뉴턴 방법을 어떻게 설계하고 PMM 프레임워크에 통합하여 유도된 하위문제를 효율적으로 해결할 수 있는가?
• RQ3 커르디카-로자예브스키 성질과 같은 표준 가정 하에 제안된 알고리즘이 의미 있는 정류점(d-정류점)으로 수렴하는가?
• RQ4 초기 하위문제의 오라클 성질은 무엇이며, 고차원 환경에서 최종 해 품질에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘이 대규모 비볼록 제곱근 회귀 문제에서 ADMM 및 APG와 비교해 효율성과 정확도 면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 PMM 알고리즘은 커르디카-로자예브스키 성질을 기반으로 d-정류점으로 수렴하여, 비볼록 환경에서도 비결정적 해로의 수렴을 보장한다.
• 알고리즘은 높은 계산 효율성을 보이며, 대규모 비볼록 제곱근 회귀 문제를 해결하는 데 있어 ADMM를 능가한다.
• 알고리즘에서 사용하는 초기 하위문제는 오라클 성질을 가지며, 적절한 조건 하에서 진짜 해의 지원 집합을 정확히 식별할 수 있다.
• 수치 실험 결과, 알고리즘은 잡음에 강건하며, 잡음 분산이 알려지지 않거나 잘못 추정된 경우에도 잘 작동한다.
• PMM 프레임워크에 희소 반연속 뉴턴 방법을 통합함으로써, 특히 고차원 환경에서 1차 방법보다 수렴 속도가 크게 향상된다.
• 알고리즘은 해 경로에서 강력한 희소성을 유지하며, 추정 정확도와 변수 선택 측면에서 거의 오라클 성능을 달성한다.