[논문 리뷰] Linearized ADMM for Non-convex Non-smooth Optimization with Convergence Analysis

Qinghua Liu, Xinyue Shen외 1명|arXiv (Cornell University)|2017. 05. 06.

Sparse and Compressive Sensing Techniques참고 문헌 50인용 수 20

한 줄 요약

이 논문은 비볼록, 비연속 최적화 문제를 위한 이중 블록 및 다중 블록 선형화된 ADMM를 제안하며, 이전 연구보다 더 약한 가정 하에 수렴 분석을 제공한다. 하위문제를 선형화하고 프록시탈 항을 활용함으로써, 더 넓은 범위의 비볼록 목표 함수에 대해 수렴을 보장하며 반복값과 목표 함수 값의 수렴을 확보한다.

ABSTRACT

Linearized alternating direction method of multipliers (ADMM) as an extension of ADMM has been widely used to solve linearly constrained problems in signal processing, machine leaning, communications, and many other fields. Despite its broad applications in nonconvex optimization, for a great number of nonconvex and nonsmooth objective functions, its theoretical convergence guarantee is still an open problem. In this paper, we propose a two-block linearized ADMM and a multi-block parallel linearized ADMM for problems with nonconvex and nonsmooth objectives. Mathematically, we present that the algorithms can converge for a broader class of objective functions under less strict assumptions compared with previous works. Furthermore, our proposed algorithm can update coupled variables in parallel and work for less restrictive nonconvex problems, where the traditional ADMM may have difficulties in solving subproblems.

연구 동기 및 목표

• 신호 처리 및 머신러닝 분야에서 흔한 비볼록, 비연속 최적화 문제에서 ADMM의 이론적 수렴 보장 부족 문제를 해결한다.
• 비볼록 문제에 대해 기존 ADMM의 하위문제 해결 난이도를 줄이기 위해 선형화를 도입하여 업데이트를 단순화한다.
• 다중 블록 문제의 병렬 계산을 가능하게 하기 위해 병렬 다중 블록 선형화된 ADMM 변종을 설계한다.
• 이전 연구보다 더 약한 가정 하에 이중 블록 및 다중 블록 설정 모두에 대해 수렴 분석을 제공한다.
• 함수와 행렬에 대한 조건이 더 엄격하지 않은 조건에서도 더 넓은 범위의 비볼록, 비연속 문제에 대해 반복값과 목표 함수 값의 수렴을 보장한다.

제안 방법

• 선형화된 보조라그랑주 항을 포함한 하위문제를 풀어 변수를 갱신하는 이중 블록 선형화된 ADMM를 제안하며, 이로 인해 계산 복잡도가 감소한다.
• 해결 가능성 보장과 안정성을 확보하기 위해 리프시츠 상수 $ L_x $ 및 $ L_y $를 갖는 프록시탈 항을 도입한다.
• 보조라그랑주 항의 비연속성과 비볼록성을 고려해 비선형 항을 선형 근사함으로써 하위문제의 해법 가능성을 높인다.
• 다중 변수를 동시에 갱신할 수 있도록 병렬 다중 블록 변종을 설계하여 대규모 문제의 확장성 향상.
• 강력성과 리프시츠 미분 가능성 가정에 기반해 이중변수의 유계성과 원본/이중 잔차의 유계성을 통해 수렴을 확립한다.
• 보조라그랑주 항의 구조와 프록시탈 갱신을 활용해 목표 함수 값과 반복값의 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 더 약한 가정 하에 비볼록 및 비연속 최적화 문제에 대해 선형화된 ADMM가 이론적으로 수렴 보장이 가능한가?
• RQ2 목표 함수가 비볼록이고 비연속일 경우, 특히 하위문제 해결이 어려운 경우에도 제안된 이중 블록 선형화된 ADMM가 수렴을 유지하는가?
• RQ3 결합된 변수를 가진 비볼록 문제에 대해 다중 블록 병렬 선형화된 ADMM가 수렴을 달성할 수 있으며, 확장 가능하고 분산 계산이 가능한가?
• RQ4 목표 함수에 대한 가정(예: 리프시츠 미분 가능성, 강력성)이 알고리즘의 수렴에 어떤 영향을 미치는가?
• RQ5 비볼록 설정에서 이중변수의 유계성과 원본 및 이중 잔차의 수렴을 보장하는 조건은 무엇인가?

주요 결과

• 제안된 이중 블록 선형화된 ADMM는 이전 방법보다 더 넓은 범위의 비볼록 및 비연속 문제에 대해 수렴을 보이며, 목표 함수와 제약 행렬에 대한 가정을 완화함으로써 가능해졌다.
• 알고리즘이 원본 및 이중 잔차를 0으로 수렴시키며, 이는 반복값이 제약 조건을 충족하고 이중 변수 갱신이 안정화됨을 의미한다.
• 보조라그랑주 항의 수렴과 제약 위반 항의 점점 감소함에 따라 목표 함수 값이 수렴한다.
• 이중변수 수열 $ m{ u}^k $ 의 유계성은 $ f{B}^T m{ u}^k $ 의 유계성에 기반하며, 이는 $ f{y}^k $ 의 유계성과 갱신 구조에 의해 유도된다.
• 함수 $ f(f{x}) $ 가 비볼록이고 비연속이어도, $ g(f{x},f{y}) $ 가 비볼록이지만 리프시츠 미분 가능할 경우에도 수렴 분석이 성립하여 ADMM의 적용 범위가 확장된다.
• 다중 블록 병렬 변종은 확장 가능한 계산을 가능하게 하며, 유사한 가정 하에 수렴을 유지하여 대규모 분산 최적화에 적합하다.