[논문 리뷰] A successive difference-of-convex approximation method for a class of nonconvex nonsmooth optimization problems

Tianxiang Liu, Ting Kei Pong외 1명|arXiv (Cornell University)|2017. 10. 16.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 매끄럽고 비음수이며, 계산이 용이한 프록시 매핑을 갖는 비볼록 비매끄러운 함수를 포함하는 비볼록 비매끄러운 최적화 문제를 해결하기 위한 연속적인 차분-볼록(DC) 근사 방법을 제안한다. 비매끄러운 성분을 그들의 모레우 환경(Moreau envelope)을 통해 근사함으로써 연속적인 DC 함수로 표현함으로써, 주요화 기법을 사용한 1차 방법을 효율적으로 적용할 수 있게 되며, 약한 조건 하에 반복점이 유계이고 정류점으로 수렴함을 증명한다.

ABSTRACT

We consider a class of nonconvex nonsmooth optimization problems whose objective is the sum of a smooth function and a finite number of nonnegative proper closed possibly nonsmooth functions (whose proximal mappings are easy to compute), some of which are further composed with linear maps. This kind of problems arises naturally in various applications when different regularizers are introduced for inducing simultaneous structures in the solutions. Solving these problems, however, can be challenging because of the coupled nonsmooth functions: the corresponding proximal mapping can be hard to compute so that standard first-order methods such as the proximal gradient algorithm cannot be applied efficiently. In this paper, we propose a successive difference-of-convex approximation method for solving this kind of problems. In this algorithm, we approximate the nonsmooth functions by their Moreau envelopes in each iteration. Making use of the simple observation that Moreau envelopes of nonnegative proper closed functions are continuous {\em difference-of-convex} functions, we can then approximately minimize the approximation function by first-order methods with suitable majorization techniques. These first-order methods can be implemented efficiently thanks to the fact that the proximal mapping of {\em each} nonsmooth function is easy to compute. Under suitable assumptions, we prove that the sequence generated by our method is bounded and any accumulation point is a stationary point of the objective. We also discuss how our method can be applied to concrete applications such as nonconvex fused regularized optimization problems and simultaneously structured matrix optimization problems, and illustrate the performance numerically for these two specific applications.

연구 동기 및 목표

• 표준 프록시 그래디언트 방법이 결합된 비매끄러운 항으로 인해 실패하는 비볼록 비매끄러운 최적화 문제를 해결하는 데 도전한다.
• 구조화된 최적화 문제에서 여러 비매끄러운 함수의 합의 프록시 매핑을 계산하는 데 있어 계산적으로 비가능한 문제를 해결한다.
• 개별 성분의 프록시 매핑이 계산이 용이함을 활용하면서도 비볼록성을 다룰 수 있도록 효율성을 유지하는 방법을 개발한다.
• 목적 함수의 수준 유계성과 연속성과 같은 약한 조건 하에 정류점으로의 수렴을 보장한다.
• 융합 정규화와 행렬 구조 최적화와 같은 동시에 존재하는 구조를 포함하는 실제 문제에의 적용을 가능하게 한다.

제안 방법

• 목적 함수 내 각 비매끄러운 함수를 그 모레우 환경으로 근사한다. 이는 연속적인 차분-볼록(DC) 함수이다.
• 모레우 환경의 DC 구조를 활용하여 주요화 기법을 사용한 1차 방법을 통한 최소화를 가능하게 한다.
• 각 반복 단계에서 매끄러운 부분의 기울기와 개별 비매끄러운 성분의 프록시 매핑을 포함하는 주요화된 보조문제를 해결한다.
• 목적 함수의 충분한 감소를 보장하기 위해 적응형 페널티 파라미터 업데이트를 포함한 비단조화 선색색색 전략을 사용한다.
• 합성 함수의 프록시 매핑이 계산이 어려울지라도 개별 $ P_i $ 의 프록시 매핑은 계산이 용이하다는 사실을 활용한다.
• 모레우 환경 근사치를 반복적으로 업데이트함으로써 해를 정밀화하는 순차적 근사 체계를 적용한다.

실험 결과

연구 질문

• RQ1 다중 비매끄러운 성분을 포함하는 비볼록 비매끄러운 최적화 문제를 효율적으로 해결할 수 있는 연속적 DC 근사 방법을 설계할 수 있는가?
• RQ2 비매끄러운 함수를 그 모레우 환경으로 근사하는 것이 효율적인 1차 방법의 사용 능력을 유지하는가?
• RQ3 제안된 알고리즘이 어떤 조건 하에 정류점으로 수렴함을 보장하는가?
• RQ4 융합 정규화와 저질서 행렬 복원과 같은 동시에 존재하는 구조를 포함하는 문제에서 이 방법의 수치적 성능는 어떠한가?
• RQ5 여러 정규화 항이 선형 사상과 복합된 구조화된 행렬 최적화 문제에 이 방법을 적용할 수 있는가?

주요 결과

• 제시된 가정 하에 알고리즘에 의해 생성된 수열은 유계이며 안정성을 보장한다.
• 반복점의 모든 집적점은 원래의 비볼록 비매끄러운 문제의 정류점이다.
• 목적 함수의 충분한 감소를 보장하는 선색색 전략을 사용함으로써 수렴이 달성되며, 페널티 파라미터의 유계성 덕분에 알고리즘이 잘 정의된다.
• 수치 실험 결과, 이 방법은 비볼록 융합 정규화 문제와 동시에 구조가 있는 행렬 최적화 문제에 효과적으로 적용되며, 목적 함수 값과 잔차 노름이 감소하는 것으로 나타났다.
• 다양한 파라미터 설정에서도 알고리즘이 강건하게 작동하며, 테스트된 문제에서 3000회 반복 동안 목적 함수 값이 약 1000에서 약 100으로 감소하는 것으로 나타났다.
• NPG 주요 하위알고리즘의 수렴성이 입증되었으며, $ \|\bm{x}^{t+1}-\bm{x}^{t}\| \to 0 $ 이 성립하여 전체 수렴 행동을 뒷받침한다.