[논문 리뷰] Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction

Lei Yang, Ting Kei Pong외 1명|arXiv (Cornell University)|2015. 06. 23.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 10

한 줄 요약

이 논문은 배경/전경 분離에서 발생하는 비볼록, 비연속, 비-Lipschitz 최적화 문제를 해결하기 위해 일반적인 이중 스텝 사이즈를 가진 증분 방향 다중 승수 방법(ADMM)을 제안한다. 펜alty 매개수의 임계값과 유계성 조건 하에서 정류점으로의 수렴을 확립하며, 잠재 함수가 Kurdyka-Łojasiewicz 성질을 만족할 경우 전역 수렴이 보장된다. 실비디오 데이터에서 PALM보다 효율성을 입증한다.

ABSTRACT

In this paper, we study a general optimization model, which covers a large class of existing models for many applications in imaging sciences. To solve the resulting possibly nonconvex, nonsmooth and non-Lipschitz optimization problem, we adapt the alternating direction method of multipliers (ADMM) with a general dual step-size to solve a reformulation that contains three blocks of variables, and analyze its convergence. We show that for any dual step-size less than the golden ratio, there exists a computable threshold such that if the penalty parameter is chosen above such a threshold and the sequence thus generated by our ADMM is bounded, then the cluster point of the sequence gives a stationary point of the nonconvex optimization problem. We achieve this via a potential function specifically constructed for our ADMM. Moreover, we establish the global convergence of the whole sequence if, in addition, this special potential function is a Kurdyka-Łojasiewicz function. Furthermore, we present a simple strategy for initializing the algorithm to guarantee boundedness of the sequence. Finally, we perform numerical experiments comparing our ADMM with the proximal alternating linearized minimization (PALM) proposed in [5] on the background/foreground extraction problem with real data. The numerical results show that our ADMM with a nontrivial dual step-size is efficient.

연구 동기 및 목표

• 영상 과학 분야에서 발생하는 일반적인 비볼록 및 비연속 최적화 문제를 다루는 것, 특히 비디오에서의 배경/전경 분리에 초점한다.
• 일반적인 이중 스텝 사이즈를 가진 ADMM 변종을 개발하고 분석하여, 일반적으로 비볼록, 비연속, 비-Lipschitz인 문제를 해결하는 것.
• 매개수의 임계값과 수열의 유계성과 같은 온건한 가정 하에서 수렴 보장을 확립하는 것—특히 클러스터 점이 정류점임을 보장한다.
• 구축된 잠재 함수의 Kurdyka-Łojasiewicz 성질을 만족할 경우 전체 수열의 전역 수렴 조건을 제공하는 것.
• 실감 있는 감시 비디오 데이터에서 실증적으로 검증하기 위한 실용적인 초기화 전략을 제시하는 것.

제안 방법

• 비볼록 최적화 문제의 삼블록 재구성에 일반적인 이중 스텝 사이즈 τ ∈ (0, (1+√5)/2)를 적용한 ADMM를 적응시킨다.
• 수렴 분석을 위해 새로운 잠재 함수를 구성하며, 이는 클러스터 점이 정류점임을 증명하는 데 핵심적이다.
• 펜alty 매개수에 대해 계산 가능한 임계값을 도입하여, 펜alty가 이 임계값을 초과하고 수열이 유계일 경우, 임의의 클러스터 점이 비볼록 문제의 정류점임을 보장한다.
• ADMM 반복의 유계성을 보장하기 위한 단순한 초기화 전략을 도입하며, 이는 수렴 분석에 있어 필수적이다.
• ADMM 적용을 가능하게 하기 위해 원래 문제를 펜alty 기반으로 재구성하며, 선형 사상 A, B, C는 데이터 적합도와 구조를 모델링한다.
• 잠재 함수에 대한 Kurdyka-Łojasiewicz 조건을 도입하여 전체 수열의 전역 수렴으로의 수렴을 강화한다.

실험 결과

연구 질문

• RQ1 일반적인 이중 스텝 사이즈 τ를 가진 ADMM가 비볼록, 비연속, 비-Lipschitz 최적화 문제에서 정류점으로 수렴하는 조건은 무엇인가?
• RQ2 펜alty 매개수가 특정 임계값을 초과하고 반복 수렴이 유지될 경우, ADMM의 수렴이 보장될 수 있는가?
• RQ3 전체 ADMM 수열의 전역 수렴을 보장하는 조건은 무엇인가? 클러스터 점 수렴을 넘어서서 말이다.
• RQ4 이중 스텝 사이즈 τ의 선택이 비볼록 환경에서 ADMM의 성능과 수렴에 어떤 영향을 미치는가?
• RQ5 제안된 ADMM는 실비디오 데이터에서의 배경/전경 분리와 같은 실용적 응용에서 기존 방법인 PALM을 능가할 수 있는가?

주요 결과

• 모든 이중 스텝 사이즈 τ < (1+√5)/2 에 대해, 펜alty 매개수가 계산 가능한 임계값을 초과하고 ADMM 반복이 유계일 경우, 모든 클러스터 점은 비볼록 문제의 정류점이 된다.
• τ = 0.8을 사용한 제안된 ADMM는 실감 있는 감시 비디오 데이터에서 PALM보다 빠른 CPU 시간과 동등한 F-측정치 성능을 달성한다.
• 이 방법은 배경/전경 분리 작업에서 브릿지, 분수, 로지스틱, 최소 최대 볼록 페널티와 같은 다양한 비볼록 정규화 함수에 대해 강건함을 보였다.
• 수치 결과는 τ = 0.8을 사용한 ADMM가 노이즈가 많고 흐린 비디오 데이터에서 PALM보다 계산 효율성이 뛰어나면서도 경쟁 가능한 F-측정치를 유지함을 보여준다.
• 잠재 함수가 Kurdyka-Łojasiewicz 성질을 만족할 경우 전체 수열의 전역 수렴이 확립되며, 이는 클러스터 점 수렴을 넘어서는 수렴 보장을 확장한다.
• 제안된 초기화 전략은 수열의 유계성을 보장하며, 이는 이론적 수렴 결과의 핵심 전제 조건이다.