[논문 리뷰] Alternating Direction Method of Multipliers for Nonconvex Background/Foreground Extraction

Lei Yang, Ting Kei Pong외 1명|arXiv (Cornell University)|2015. 06. 23.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 핵심 범위가 없는 비볼록 배경/전경 분離를 위한 ADMM 기반 방법을 제안하며, 유연한 희박성 유도 정규화(예: 0 < p < 1인 ℓ_p 준노름)를 사용하고 핵심 범위 제약 조건 없이 적용한다. 이는 이중 단계 크기(dual step-size)가 황금률 미만이고 반복값이 유계일 경우 정류점에 수렴함을 보이며, 잠재 함수가 Kurdyka–Łojasiewicz 성질을 만족할 경우 전역 수렴이 이루어지며, 실제 데이터에서 PALM보다 빠른 성능을 보인다.

ABSTRACT

In this paper, we study a general optimization model for extracting background and foreground from a surveillance video. This model covers a large class of existing models as special cases. In particular, it can be nuclear-norm-free, and can incorporate different possibly nonconvex sparsity inducing regularization functions for extracting the foreground, such as the $\ell_p$ quasi-norm for $0<p<1$. To solve the resulting possibly nonconvex optimization problem, we adapt the alternating direction method of multipliers (ADMM) with a general dual step-size to solve a reformulation that contains three blocks of variables, and analyze its convergence. We show that for any dual step-size less than the golden ratio, there exists a computable threshold such that if the penalty parameter is chosen above such a threshold and the sequence thus generated by our ADMM is bounded, then the cluster point of the sequence gives a stationary point of the nonconvex optimization problem. We achieve this via a potential function specifically constructed for our ADMM. Moreover, we establish the global convergence of the whole sequence generated if, in addition, this special potential function is a Kurdyka-{\L}ojasiewicz function. Furthermore, we present a simple strategy for initializing the algorithm to guarantee boundedness of the sequence generated. Finally, we perform numerical experiments comparing our ADMM with the proximal alternating linearized minimization (PALM) proposed in \cite{bst2014} on real data. The numerical results show that our ADMM with a dual step-size smaller than 1 performs better in the sense that it uses less time to solve all test problems.

연구 동기 및 목표

• 기존 모델을 일반화하는 유연한 최적화 프레임워크를 개발하여 감시 영상에서 배경/전경 분리를 수행하는 것.
• 핵심 범위 정규화를 요구하지 않는 비볼록 희박성 유도 정규화(예: 0 < p < 1인 ℓ_p 준노름)를 처리하는 것.
• 비볼록, 세 개의 변수 블록 설정에서 일반적인 이중 단계 크기를 가진 ADMM의 수렴 보장을 확립하는 것.
• ADMM 반복값의 유계성을 보장하는 실용적인 초기화 전략을 제공하는 것.
• 실제 영상 데이터에서 PALM과 비교해 더 뛰어난 계산 효율성을 경험적으로 입증하는 것.

제안 방법

• 배경/전경 분리를 위한 세 개의 변수(배경, 전경, 보조 변수)를 포함하는 최적화 문제로 문제를 재구성하는 것.
• 일반적인 이중 단계 크기를 사용하는 분할-강하법 다중승수(ADMM)를 적용하여 재구성된 문제를 해결하는 것.
• 비볼록성 하에서 수렴 분석을 위해 ADMM 동역학에 특화된 새로운 잠재 함수를 구축하는 것.
• 이중 단계 크기가 황금률 미만이고 벌점 매개변수(penalty parameter)가 계산 가능한 임계값을 초과할 경우 정류점로 수렴함을 입증하는 것.
• ADMM 수렴 보장을 위한 유계성을 보장하는 단순한 초기화 전략을 제안하는 것.
• 잠재 함수의 Kurdyka–Łojasiewicz 성질을 활용하여 추가 조건 하에서 전체 ADMM 수렴 수열의 전역 수렴을 증명하는 것.

실험 결과

연구 질문

• RQ1 일반적인 이중 단계 크기를 가진 ADMM는 비볼록 배경/전경 분리 문제에 대해 탄력적인 희박성 정규화를 적용할 때 정류점으로 수렴할 수 있는가?
• RQ2 이중 단계 크기와 벌점 매개변수에 어떤 조건이 성립해야 ADMM 수렴값이 정류해에 수렴하는가?
• RQ3 제안된 ADMM는 실제 영상 데이터에서 기존 방법인 PALM에 비해 계산 효율성이 뛰어나게 되는가?
• RQ4 비볼록 문제에서 ADMM 수렴 수열의 유계성을 실무적으로 어떻게 보장할 수 있는가?
• RQ5 전체 ADMM 수렴 수열이 단지 집합점에 수렴하는 것이 아니라 전역적으로 수렴하기 위한 조건은 무엇인가?

주요 결과

• 제안된 ADMM는 이중 단계 크기가 황금률 미만이고, 벌점 매개변수가 계산 가능한 임계값을 초과하며 반복값이 유계일 경우 비볼록 문제의 정류점으로 수렴한다.
• 구축된 잠재 함수가 Kurdyka–Łojasiewicz 성질을 만족할 경우 전체 수렴 수열의 전역 수렴이 달성된다.
• ADMM 수렴 수열의 유계성을 보장하는 단순한 초기화 전략을 제안하여 수렴 보장을 가능하게 한다.
• 수치 실험 결과, 이중 단계 크기가 1 미만인 제안된 ADMM는 모든 테스트된 실제 영상 문제에서 PALM보다 빠른 성능을 보였다.
• 핵심 범위를 요구하지 않아도 비볼록 희박성 정규화(예: 0 < p < 1인 ℓ_p 준노름)를 지원하여 더 탄력적인 전경 모델링이 가능하다.
• 수렴 분석은 핵심 범위가 없는 모델을 포함한 일반적인 모델 클래스에 대해 유효하여 배경/전경 분리에 널리 적용 가능하다.