[논문 리뷰] Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms

Amir Beck, Yonina C. Eldar|arXiv (Cornell University)|2012. 03. 20.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 14

한 줄 요약

이 논문은 연속적으로 미분 가능한 목적 함수와 비제로 성분 수를 제한하는 제약 조건을 가진 일반적인 희소성 제약 비선형 최적화 문제를 해결하기 위해 최적성 조건과 세 가지 알고리즘—반복적 하드 스레시olding, 그레디브, 부분 희소 심플렉스—을 제안한다. 주요 기여는 목적 함수가 비볼록이고 희소성 제약 조건이 비볼록이며 불연속일 경우에도 이러한 알고리즘이 새로운 정류성 조건을 만족하는 점으로 수렴함을 증명하는 것이다.

ABSTRACT

This paper treats the problem of minimizing a general continuously differentiable function subject to sparsity constraints. We present and analyze several different optimality criteria which are based on the notions of stationarity and coordinate-wise optimality. These conditions are then used to derive three numerical algorithms aimed at finding points satisfying the resulting optimality criteria: the iterative hard thresholding method and the greedy and partial sparse-simplex methods. The first algorithm is essentially a gradient projection method while the remaining two algorithms are of coordinate descent type. The theoretical convergence of these methods and their relations to the derived optimality conditions are studied. The algorithms and results are illustrated by several numerical examples.

연구 동기 및 목표

• 연속적으로 미분 가능한 함수를 희소성 제약 조건(즉, 카디널리티 제약 조건) 하에 최소화하기 위한 필요 최적성 조건을 개발하는 것.
• 일般적인 비볼록 목적 함수에 대해 이러한 최적성 조건을 만족하는 점으로 수렴하는 수치적 알고리즘을 설계하고 분석하는 것.
• 압축 센싱을 초월해 일반 비선형 문제로 확장된 기존의 반복적 하드 스레시olding 방법을 확장하는 것.
• 약한 매끄러움 가정 하에 제안된 알고리즘의 이론적 수렴성을 확립하는 것.

제안 방법

• 비볼록 희소성 제약 문제에 대해 정류성과 좌표별 최적성 기반의 세 가지 서로 다른 최적성 조건을 유도한다.
• 일반적인 매끄러운 목적 함수에 적합한 단계 크기 1의 그라디언트 프로젝션 유형 알고리즘으로서 반복적 하드 스레시olding 방법을 제안한다.
• 목적 함수를 향상시키면서도 희소성을 유지하기 위해 가장 유망한 좌표를 순차적으로 업데이트하는 그레디브 방법을 도입한다.
• 각 단계에서 좌표의 부분 집합에 대해 최적화를 수행하는 좌표 강하 알고리즘으로서 부분 희소 심플렉스 방법을 개발한다.
• 그라디언트의 리프시츠 연속성(L2(f))을 사용하여 내림차순 보장과 수렴 속도를 도출한다.
• 생성된 수열이 L2(f)-정류점으로 수렴함을 증명하며, 이는 지원 집합에 대한 그라디언트 크기의 경계를 정의함으로써 정의된다.

실험 결과

연구 질문

• RQ1 연속적으로 미분 가능한 목적 함수를 가진 일반적인 비볼록 희소성 제약 최적화 문제에 대해 필요한 최적성 조건은 무엇인가?
• RQ2 반복적 하드 스레시olding 방법은 이차 목적 함수를 초월해 임의의 매끄러운 함수로 어떻게 일반화될 수 있는가?
• RQ3 비볼록 희소성 제약 조건 하에서 좌표 강하 유형 알고리즘에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 제안된 알고리즘은 압축 센싱에서의 매칭 퍼서션 또는 반복적 하드 스레시olding과 어떻게 관련이 있는가?
• RQ5 알고리즘에 의해 생성된 수열이 정류점으로 수렴하는 조건는 무엇인가?

주요 결과

• 목적 함수의 그라디언트가 리프시츠 연속일 경우 반복적 하드 스레시olding 방법은 L2(f)-정류점으로 수렴한다.
• 그레디브 및 부분 희소 심플렉스 방법 역시 L2(f)-정류점으로 수렴하며, 내림차순 부등식과 그라디언트 크기 경계를 통한 증명을 통해 수렴성을 입증한다.
• 최적성 조건은 다음과 같이 정의된다: 점 x*에서 지원 집합 I1(x*)에 속하는 그라디언트 성분은 0이어야 하며, 영 집합 I0(x*)에 속하는 그라디언트 성분 |∇if(x*)|는 L2(f)M_s(x*) 이하여야 한다. 여기서 M_s(x*)는 비영 성분의 최대 절대값이다.
• 희소성 수준이 고정되어 있지 않을 경우에도 수열의 집적점 분석을 통해 수렴성을 확보한다.
• 비볼록성의 요구 없이 일반적인 매끄러움 가정 하에서 알고리즘이 정류점으로 수렴함을 보였다.
• 수치 예제를 통해 단계적 복원 및 이차 측정 모델을 포함한 비볼록 희소성 제약 최적화 문제 해결에 있어 알고리즘의 효과성을 입증하였다.