[논문 리뷰] Linearized Alternating Direction Method with Adaptive Penalty for Low-Rank Representation

Zhouchen Lin, Risheng Liu외 1명|arXiv (Cornell University)|2011. 09. 02.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 753

한 줄 요약

이 논문은 저질서 표현(LRR)을 효율적으로 해결하기 위해 선형화된 교대 방향 방법과 적응형 페널티를 결합한 LADMAP를 제안한다. 이중 제곱 페널티를 선형화하고 적응형 페널티 갱신을 사용함으로써, 계산 복잡도를 O(n³)에서 O(rn²)로 감소시켜, 기존 최첨단 방법보다 더 빠른 수렴 속도를 보이며 대규모 LRR 응용에 적합한 성능을 달성한다.

ABSTRACT

Many machine learning and signal processing problems can be formulated as lin-early constrained convex programs, which could be efficiently solved by the alter-nating direction method (ADM). However, usually the subproblems in ADM are easily solvable only when the linear mappings in the constraints are identities. To address this issue, we propose a linearized ADM (LADM) method by linearizing the quadratic penalty term and adding a proximal term when solving the sub-problems. For fast convergence, we also allow the penalty to change adaptively according a novel update rule. We prove the global convergence of LADM with adaptive penalty (LADMAP). As an example, we apply LADMAP to solve low-rank representation (LRR), which is an important subspace clustering technique yet suffers from high computation cost. By combining LADMAP with a skinny SVD representation technique, we are able to reduce the complexity O(n3) of the original ADM based method to O(rn2), where r and n are the rank and size of the representation matrix, respectively, hence making LRR possible for large scale applications. Numerical experiments verify that for LRR our LADMAP based methods are much faster than state-of-the-art algorithms. 1

연구 동기 및 목표

• 기존 교대 방향 방법(ADM) 접근법이 저질서 표현(LRR)에 대해 높은 계산 비용을 유발하는 문제를 해결하기 위해.
• 선형 사상이 항등사상이 아닐 경우에만 해를 구할 수 있는 ADM 보조 문제의 한계를 극복하기 위해.
• 더 빠른 수렴 속도와 향상된 효율성을 확보하기 위해 적응형 페널티를 갖춘 선형화된 ADM 변종을 개발하기 위해.
• 대규모 응용을 위해 LRR의 계산 복잡도를 O(n³)에서 O(rn²)로 감소시키기 위해.
• 대규모 머신러닝 및 신호 처리 작업에서 LRR의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 보조 제약 조건을 포함한 보완 라그랑주 함수의 제곱 페널티 항을 선형화함으로써 선형화된 교대 방향 방법(LADM)을 제안한다.
• 수치적 안정성과 수렴 속도 향상을 위해 보조 문제에 프록시 항을 도입한다.
• 수렴 진전에 따라 페널티 매개변수를 동적으로 조정하는 적응형 페널티 갱신 규칙을 적용한다.
• 계산 비용을 줄이기 위해 LADMAP를 슬림 SVD 표현 기법과 결합한다.
• 저질서 행렬 최적화의 구조를 활용하여 보조 문제를 효율적으로 해결한다.
• 기본 가정 하에 제안된 LADMAP 알고리즘의 전역 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 적응형 페널티를 갖춘 선형화된 ADM이 기존 ADM 방법에 비해 저질서 표현에 대해 더 빠른 수렴을 달성할 수 있는가?
• RQ2 해의 정확도를 유지하면서 LRR의 계산 복잡도를 O(n³)에서 O(rn²)로 줄일 수 있는가?
• RQ3 적응형 페널티 갱신이 알고리즘의 수렴 속도와 강건성에 미치는 영향는 어떠한가?
• RQ4 기존 ADM이 높은 비용으로 인해 실패하는 대규모 데이터셋에 대해 제안된 방법이 효과적으로 확장 가능한가?
• RQ5 선형화와 슬림 SVD의 조합이 저질서 표현의 효율성을 어떻게 향상시키는가?

주요 결과

• LADMAP는 기본 가정 하에 전역 수렴을 달성하여 신뢰할 수 있는 해 품질을 보장한다.
• LRR의 계산 복잡도가 O(n³)에서 r(랭크)와 n(행렬 크기)을 고려해 O(rn²)로 감소된다.
• 대규모 데이터셋에서 런타임 측면에서 최첨단 알고리즘보다 뚜렷이 뛰어난 성능을 보인다.
• 수치 실험 결과, LADMAP가 LRR에 기반한 기존 ADM 기반 방법보다 더 빠르게 수렴하는 것으로 확인되었다.
• 적응형 페널티 갱신 규칙이 해의 정확도를 훼손하지 않으면서도 수렴 속도를 향상시킨다.