[논문 리뷰] On the superiority of PGMs to PDCAs in nonsmooth nonconvex sparse regression

Shummin Nakayama, Jun‐ya Gotoh|arXiv (Cornell University)|2020. 07. 02.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 GIST와 GPALM를 포함한 프록시멀 그라디언트 방법(PGMs)이 알고리즘 수정 없이 비스무스 비볼록 희소 회귀에서 d-정류점에 수렴함을 입증하며, 솔루션 품질과 계산 시간 측면에서 프록시멀 DC 알고리즘(PDCAs)을 능가한다. 저자들은 PGMs가 표준 PDCAs보다 더 강력한 최적성 조건을 달성함을 증명하고, GIST가 큰 펜alty 파라미터 조건에서도 일관되게 PDCA 변종보다 뛰어난 성능을 보임을 경험적으로 보여준다.

ABSTRACT

This paper conducts a comparative study of proximal gradient methods (PGMs) and proximal DC algorithms (PDCAs) for sparse regression problems which can be cast as Difference-of-two-Convex-functions (DC) optimization problems. It has been shown that for DC optimization problems, both General Iterative Shrinkage and Thresholding algorithm (GIST), a modified version of PGM, and PDCA converge to critical points. Recently some enhanced versions of PDCAs are shown to converge to d-stationary points, which are stronger necessary condition for local optimality than critical points. In this paper we claim that without any modification, PGMs converge to a d-stationary point not only to DC problems but also to more general nonsmooth nonconvex problems under some technical assumptions. While the convergence to d-stationary points is known for the case where the step size is small enough, the finding of this paper is valid also for extended versions such as GIST and its alternating optimization version, which is to be developed in this paper. Numerical results show that among several algorithms in the two categories, modified versions of PGM perform best among those not only in solution quality but also in computation time.

연구 동기 및 목표

• 비스무스 비볼록 희소 회귀 문제에 대해 PGMs와 PDCAs를 비교하기 위해.
• 표준 PGMs가 비스무스 비볼록 문제에서 d-정류점에 수렴함을 입증하여, 일반적인 임계점보다 더 강력한 최적성 조건을 확보하기 위해.
• 동시 변수 선택과 이방점 탐지 기능을 갖춘 희소 강건 회귀에 정확한 페널티 표현을 확장하기 위해.
• 더 나은 수렴성과 성능을 위해 GPALM을 개발하고 분석하기 위해.
• 다양한 펜alty 파라미터 조건 하에서 솔루션 품질, 계산 시간, 내성에 대한 알고리즘 성능을 경험적으로 평가하기 위해.

제안 방법

• 기술적 가정 하에 일반적인 비스무스 비볼록 문제에 대해 PGMs가 d-정류점에 수렴함을 증명하며, DC 특화 사례를 초월하여 확장한다.
• GIST와 유사한 비모노톤 확장인 GPALM을 도입하여 정확한 페널티 재구성과 함께 희소 강건 회귀에 적용한다.
• 정확한 페널티 표현을 활용해 변수 선택과 이방점 탐지를 동시에 수행한다.
• PGM 변종(예: GIST)에서 비모노톤 선색색색 및 더 큰 스텝 크기를 사용하여 수렴성과 효율성을 향상시킨다.
• 비스무스 비볼록 정규화에 대해 프록시멀 연산자를 사용하고, 하위미분 및 방향 도함수 조건을 통해 수렴성을 분석한다.
• GIST, GPALM, PDCA, PDCAe, NEPDCA, EPDCA를 다양한 희소 회귀 벤치마크에서 다양한 펜alty 파라미터 조건 하에 비교한다.

실험 결과

연구 질문

• RQ1 표준 PGMs가 DC 문제 외 일반적인 비스무스 비볼록 최적화 문제에서 d-정류점에 수렴할 수 있는가?
• RQ2 GIST와 GPALM와 같은 PGM 기반 방법은 PDCA 기반 방법과 비교해 솔루션 품질과 수렴 속도에서 어떻게 다른가?
• RQ3 PDCAs의 성능은 큰 펜alty 파라미터 조건에서 열등해지는가? 그 이유는 무엇인가?
• RQ4 정확한 페널티 표현은 동시에 변수 선택과 이방점 탐지를 수행하는 희소 강건 회귀로 확장될 수 있는가?
• RQ5 PDCAs에서 더 강력한 최적성 조건(즉, d-정류점)에 수렴하는 것과 계산 비용 사이의 트레이드오프는 무엇인가?

주요 결과

• GIST와 GPALM를 포함한 PGMs는 수정 없이도 비스무스 비볼록 문제에서 d-정류점에 수렴하며, 이는 일반적인 임계점보다 더 강력한 최적성 조건이다.
• 모든 테스트 문제에서 GIST는 솔루션 품질과 계산 시간 양면에서 모든 다른 알고리즘을 능가한다.
• PDCA 기반 방법은 소프트 스레시홀딩으로 인한 과도한 희소성로 인해 큰 펜alty 파라미터 조건에서 성능이 열등하고, 부분 최적 솔루션을 유도한다.
• NEPDCA는 d-정류점에 수렴하지만, 조합적 활성 세트 업데이트로 인해 PGMs보다 훨씬 더 긴 계산 시간을 소요한다.
• GPALM는 희소 강건 회귀에서 d-정류점에 수렴함을 확보하여 이론적 결과를 더 넓은 문제 범주로 확장한다.
• 수치적 결과는 PGMs가 특히 펜alty 파라미터가 클 경우 PDCAs보다 더 강건하고 효율적임을 보여준다.