[논문 리뷰] Penalty Dual Decomposition Method For Nonsmooth Nonconvex Optimization

Qingjiang Shi, Mingyi Hong외 2명|arXiv (Cornell University)|2017. 12. 13.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 43

한 줄 요약

이 논문은 비연속적이고 비볼록인 최적화 문제에 대해 비선형으로 결합된 제약 조건을 갖는 이중 루프 알고리즘인 페널티 이중 분해(Penalty Dual Decomposition, PDD) 방법을 제안한다. 내부 하위문제에서는 블록좌표강하법을, 외부 루프에서는 이중 변수와 페널티 파라미터를 갱신하며, 미세한 조건 하에 KKT 점으로의 수렴을 증명하여 어려운 신호 처리 및 무선 통신 문제에 대해 효율적인 해법을 가능하게 한다.

ABSTRACT

Many contemporary signal processing, machine learning and wireless communication applications can be formulated as nonconvex nonsmooth optimization problems. Often there is a lack of efficient algorithms for these problems, especially when the optimization variables are nonlinearly coupled in some nonconvex constraints. In this work, we propose an algorithm named penalty dual decomposition (PDD) for these difficult problems and discuss its various applications. The PDD is a double-loop iterative algorithm. Its inner iterations is used to inexactly solve a nonconvex nonsmooth augmented Lagrangian problem via block-coordinate-descenttype methods, while its outer iteration updates the dual variables and/or a penalty parameter. In Part I of this work, we describe the PDD algorithm and rigorously establish its convergence to KKT solutions. In Part II we evaluate the performance of PDD by customizing it to three applications arising from signal processing and wireless communications.

연구 동기 및 목표

• 비선형으로 결합된 변수를 갖는 비볼록 비연속 최적화 문제에 대해 효율적인 알고리즘이 부족한 문제를 해결한다.
• 다중 블록, 비볼록, 비연속 최적화 문제의 문제 구조를 활용하는 확장 가능하고 수렴 보장이 되는 알고리즘 프레임워크를 개발한다.
• 수렴 보장이 없거나 악조건화 문제를 겪는 기존 방법들(예: 교대 최적화, 페널티 방법)의 한계를 극복한다.
• 연속적으로 미분 가능한 결합 제약 조건을 갖는 비볼록 문제에 대해 KKT 점으로의 이론적 수렴을 확립한다.
• 복잡한 결합 제약 조건을 갖는 다양한 신호 처리 및 무선 통신 응용 분야에 적용 가능한 통합 알고리즘 프레임워크를 제공한다.

제안 방법

• 이중 루프 페널티 이중 분해(Penalty Dual Decomposition, PDD) 알고리즘을 제안: 내부 루프는 블록좌표강하법을 통해 증강 라그랑주 하위문제를 풀고, 외부 루프는 이중 변수와 페널티 파라미터를 갱신한다.
• 비볼록 제약 조건을 다루기 위해 증강 라그랑주 수식을 사용하며, 페널티 항과 이중 상승법을 조합하여 수렴성과 안정성을 향상시킨다.
• 내부 루프에서 비볼록, 비연속 하위문제를 비정확하게 풀 수 있도록 블록좌표강하 유형의 방법을 활용하여 저복잡도 및 병렬화 가능한 갱신을 가능하게 한다.
• 페널티 파라미터 갱신 전략을 도입하여 페널티가 무한대로 발산할 필요 없이 수렴을 보장하며, 고전적 페널티 방법에서 흔한 악조건화 문제를 피한다.
• 수학적 프로그래밍 문제에서 보완 제약 조건(Mathematical Program with Complementarity Constraints, MFCQ) 조건을 확인하기 위해 일阶 근사 근사를 적용하여 KKT 수렴 분석을 가능하게 한다.
• MFCQ가 타당점에서 만족됨을 가정하는 미세한 조건 하에, 비볼록 및 비연속 문제에 대해서도 KKT 점으로의 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 비볼록 비연속 최적화 문제에 대해 비선형으로 결합된 제약 조건을 갖는 분해 기반 방법이 KKT 점으로 수렴할 수 있는가?
• RQ2 페널티 방법은 어떻게 개선되어야 하며, 페널티 파라미터를 무한대로 보내지 않아도 수렴을 보장하고 악조건화 문제를 피할 수 있는가?
• RQ3 블록좌표강하법과 이중 분해법을 얼마나 효과적으로 조합하여 신호 처리 및 무선 통신 분야의 복잡한 비볼록 비연속 문제를 해결할 수 있는가?
• RQ4 제안된 PDD 알고리즘이 어떤 조건에서 KKT 해로 수렴하며, 이러한 조건은 실무에서 어떻게 검증할 수 있는가?
• RQ5 PDD 프레임워크는 MIMO 리레이 비드폼 설계 및 SINR 제약 조건 하의 전력 최소화와 같은 실세계 문제에 적용 가능한가?

주요 결과

• PDD 알고리즘은 연속적으로 미분 가능한 결합 제약 조건을 갖는 비볼록 비연속 최적화 문제에 대해 KKT 점으로 수렴함을 증명하였다.
• 고전적 페널티 방법에서 흔한 악조건화 문제를 피하기 위해 페널티 파라미터가 무한대로 발산할 필요 없이도 수렴을 달성하였다.
• 세 가지 핵심 응용 분야에서 MFCQ 조건을 검증하였다: 비드폼 설계(문제 5), MIMO 리레이 비드폼 설계(문제 11), 행렬 분해(문제 31)로, 이는 수렴 유효성을 보장한다.
• 문제 (5)의 경우, 등식 제약 조건 기울기의 선형 독립성과 타당한 내림방향의 존재로 인해 임의의 타당점에서 MFCQ가 성립한다.
• 문제 (11)의 경우, V ≠ 0 및 F ≠ 0 또는 X ≠ 0인 비영 타당점에서 내림방향을 명시적으로 구성함으로써 MFCQ가 성립함을 확인하였다.
• 문제 (31)의 경우, 행렬 구조로부터 유도된 내림방향을 사용하여 임의의 타당점에서 MFCQ가 성립하며, 일阶 근사와 타당성 제약 조건을 통해 검증하였다.