[논문 리뷰] Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming

Zhaosong Lu|arXiv (Cornell University)|2012. 10. 31.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 15

한 줄 요약

이 논문은 이차 페널티 리 릴랙세이션과 동적 페널티 파라미터 업데이트를 활용하여 $l_0$-정규화된 볼록 콘 프로그래밍 문제를 해결하기 위한 반복적 하드 스레시딩(IHT) 방법을 제안한다. 수렴성을 국소 최소화점으로 보장하고, $\epsilon$-근사 해를 찾는 데 필요한 반복 횟수의 복잡도 한계를 제시하며, 콘 제약 조건 하에서 희소 최적화에 IHT를 확장한다.

ABSTRACT

In this paper we consider $l_0$ regularized convex cone programming problems. In particular, we first propose an iterative hard thresholding (IHT) method and its variant for solving $l_0$ regularized box constrained convex programming. We show that the sequence generated by these methods converges to a local minimizer. Also, we establish the iteration complexity of the IHT method for finding an $ε$-local-optimal solution. We then propose a method for solving $l_0$ regularized convex cone programming by applying the IHT method to its quadratic penalty relaxation and establish its iteration complexity for finding an $ε$-approximate local minimizer. Finally, we propose a variant of this method in which the associated penalty parameter is dynamically updated, and show that every accumulation point is a local minimizer of the problem.

연구 동기 및 목표

• 볼록 콘 프로그래밍에 대한 $l_0$-정규화된 문제를 효율적으로 해결하기 위한 반복적 하드 스레시딩 방법을 개발한다.
• 상자 제약 조건이 붙은 $l_0$-정규화된 볼록 프로그래밍 문제에 대해 IHT 방법의 수렴성을 국소 최소화점으로 보장한다.
• 상자 제약 조건이 붙은 $l_0$-정규화된 설정에서 $\epsilon$-국소 최적 해를 찾는 데 필요한 반복 복잡도를 분석한다.
• 이차 페널티 리 릴랙세이션과 동적 페널티 파라미터 업데이트를 통해 일반 볼록 콘 프로그래밍에 IHT를 확장한다.
• 반복 수열의 모든 집적점이 동적 페널티 업데이트 조건 하에서 원래 $l_0$-정규화된 문제의 국소 최소화점임을 증명한다.

제안 방법

• 희소성 유지의 하드 스레시딩을 활용하여, $l_0$-정규화된 상자 제약 조건이 붙은 볼록 프로그래밍에 대한 IHT 방법과 그 변종을 제안한다.
• 콘 제약 조건을 처리하기 위해 $l_0$-정규화된 볼록 콘 프로그래밍의 이차 페널티 리 릴랙세이션에 IHT 방법을 적용한다.
• 리프시츠 연속 기울기와 정규 근원 조건을 활용한 프로젝션 기반 경사 하강 프레임워크를 사용하여 수렴성을 분석한다.
• 수렴 성질을 향상시키고 국소 최소화점 집적을 보장하기 위해 동적 페널티 파라미터 업데이트를 도입한다.
• 최적성과 수렴성을 기술하기 위해 정규 근원 조건과 쌍대 콘의 거리 개념을 활용한다.
• 프로젝션 기반 경사 하강의 내림 성질과 페널티 리 릴랙세이션을 이용하여 반복 복잡도 한계를 확립한다.

실험 결과

연구 질문

• RQ1 콘 제약 조건이 있는 $l_0$-정규화된 볼록 콘 프로그래밍 문제에 대해 IHT 방법을 효과적으로 확장할 수 있는가?
• RQ2 상자 제약 조건이 붙은 $l_0$-정규화된 문제에서 $\epsilon$-국소 최적 해를 찾는 데 필요한 IHT의 반복 복잡도는 얼마인가?
• RQ3 이차 페널티 리 릴랙세이션에서 동적 페널티 파라미터 업데이트가 국소 최소화점으로의 수렴을 보장하는가?
• RQ4 다양한 페널티 파라미터 조건 하에서 IHT 수렴 수열은 국소 최소화점으로 수렴하는가?
• RQ5 리프시츠 연속 기울기를 갖는 비볼록 $l_0$-정규화 문제에 대해 IHT 프레임워크를 적응시킬 수 있는가?

주요 결과

• 상자 제약 조건이 붙은 $l_0$-정규화된 볼록 프로그래밍 문제에 대해 IHT 방법이 생성하는 수열은 국소 최소화점으로 수렴한다.
• 상자 제약 조건이 붙은 문제에서 IHT 방법은 $O(1/\epsilon^2)$회의 반복 내에 $\epsilon$-국소 최적 해를 달성한다.
• 볼록 콘 프로그래밍의 이차 페널티 리 릴랙세이션에 대해, 방법은 $O(1/\epsilon^2)$회의 반복 내에 $\epsilon$-근사 국소 최소화점을 찾는다.
• 동적 페널티 파라미터 업데이트를 통해, 반복 수열의 모든 집적점은 원래 $l_0$-정규화된 문제의 국소 최소화점이 된다.
• 페널티 파라미터 업데이트 과정에서 이중 타당성 갭 $d_{{\cal K}^*}(Ax-b)$는 渐진적으로 0으로 수렴한다.
• 수렴 분석은 정규 근원 조건과 유계 서그레디언트를 갖는 프로젝션 기반 경사 하강에 기반한다.