[논문 리뷰] Penalty Methods for Constrained Non-Lipschitz Optimization

Xiaojun ChenZhaosong Lu, Ting Kei Pong|arXiv (Cornell University)|2015. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 다각형 및 타원형 제약 조건으로 정의된 비볼록 타당 집합을 가진 제약 조건이 있는 비립시츠 비볼록 최적화 문제를 위한 페널티 방법을 제안한다. 국소 최소화점, 정류점 및 ε-최소화점에 대해 정확한 페널티를 확립하고, 적응형 페널티 갱신을 갖는 수렴성 있는 비단조화 프락시멀 그라디언트 알고리즘을 개발하여 희소 해를 찾는 데 효과적임을 보여준다.

ABSTRACT

We consider a class of constrained optimization problems with a possibly nonconvex non-Lipschitz objective and a convex feasible set being the intersection of a polyhedron and a possibly degenerated ellipsoid. Such a problem has a wide range of applications in data science, where the objective is used for inducing sparsity in the solutions while the constraint set models the noise tolerance and incorporates other prior information for data tting. To solve this kind of constrained optimization problems, a common approach is the penalty method. However, there is little theory on exact penalization for problems with nonconvex non-Lipschitz objectives. In this paper, we study the existence of exact penalty parameters regarding local minimizers, stationary points and -minimizers under suitable assumptions. Moreover, we discuss a penalty method whose subproblems are solved via a nonmonotone proximal gradient method with a suitable update scheme for the penalty parameters, and prove the convergence of the algorithm to a KKT point of the constrained problem. Preliminary numerical results demonstrate the eciency of the penalty method for nding sparse solutions.

연구 동기 및 목표

• 데이터 과학에서 희소성을 유도하기 위해 흔히 나타나는 비볼록, 비립시츠 목적 함수와 볼록 타당 집합을 가진 제약 조건 최적화 문제를 다루기 위해.
• 국소 최소화점, 정류점 및 ε-최소화점에 대해 정확한 페널티 파라미터가 존재하는 이론적 조건을 확립하기 위해.
• 하위 문제를 비단조화 프락시멀 그라디언트 방법을 통해 풀고 적응형 페널티 파라미터 갱신을 적용하는 실용적인 알고리즘을 개발하기 위해.
• 원래의 제약 조건 최적화 문제의 KKT 점으로의 알고리즘 수렴을 증명하기 위해.
• 예비 수치 실험을 통해 이 방법이 희소 해를 계산하는 데 얼마나 효율적인지 보여주기 위해.

제안 방법

• 원래의 제약 조건 최적화 문제를 페널티 항을 사용하여 일련의 무제약 하위 문제로 변환하는 페널티 공식화를 사용한다.
• 목적 함수의 단조 감소가 필요 없도록 수렴을 보장하기 위해 적절한 체계에 따라 페널티 파라미터를 적응적으로 갱신한다.
• 하위 문제는 비단조화 프락시멀 그라디언트 방법을 사용하여 해결하며, 이는 비볼록 설정에서의 강건성과 수렴성을 향상시킨다.
• 이론적 분석을 통해 적절한 가정 하에 정확한 페널티 파라미터 존재성을 확립하여, 페널티 문제의 해가 원래 문제의 해와 일치함을 보장한다.
• 목적 함수가 비립시츠이자 비볼록일지라도 원래 제약 조건 최적화 문제의 KKT 점으로 수렴하도록 알고리즘을 설계한다.
• 타당 집합은 다각형과 가능성이 있는 퇴화된 타원체의 교차로 모델링되며, 데이터 피팅에서 노이즈 내성과 사전 정보를 반영할 수 있다.

실험 결과

연구 질문

• RQ1 비립시츠, 비볼록 최적화 문제에 대해 볼록 제약 조건이 있을 때 국소 최소화점에 대해 정확한 페널티 파라미터가 존재하는 조건는 무엇인가?
• RQ2 이 유형의 문제에 대해 정류점 및 ε-최소화점에 대해 정확한 페널티를 확립할 수 있는가?
• RQ3 적응형 페널티 갱신을 갖는 비단조화 프락시멀 그라디언트 방법이 이러한 문제에 대해 KKT 점으로 수렴하는가?
• RQ4 제안된 페널티 방법은 데이터 과학 애플리케이션에서 희소 해를 계산하는 데 얼마나 효과적인가?
• RQ5 비립시츠 및 비볼록 목적 함수 하에서 알고리즘 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 적절한 가정 하에 국소 최소화점, 정류점 및 ε-최소화점에 대해 정확한 페널티 파라미터 존재성을 이 논문이 확립하였다.
• 적응형 페널티 파라미터 갱신을 갖는 제안된 페널티 방법은 원래 제약 조건 최적화 문제의 KKT 점으로 수렴한다.
• 하위 문제에서 사용된 비단조화 프락시멀 그라디언트 방법은 비볼록성과 비립시츠 행동에도 불구하고 수렴을 보장한다.
• 예비 수치 결과는 이 방법이 희소 해를 식별하는 데 효율적임을 확인한다.
• 이론적 프레임워크는 이전에 개발이 부족했던 비립시츠, 비볼록 설정으로 정확한 페널티를 확장한다.
• 이 방법은 다각형과 가능성이 있는 퇴화된 타원체의 교차로 정의된 제약 조건을 효과적으로 처리하여 노이즈 내성과 사전 정보 통합을 가능하게 한다.