[논문 리뷰] A Stochastic Majorize-Minimize Subspace Algorithm for Online Penalized Least Squares Estimation

Émilie Chouzenoux, Pesquet Jean-Christophe|arXiv (Cornell University)|2015. 12. 29.

Advanced Adaptive Filtering Techniques인용 수 5

한 줄 요약

이 논문은 스트리밍 데이터의 통계가 알려져 있지 않거나 계산하기 어려운 온라인 페널티가 부여된 최소제곱 추정을 위한 확률적 주도-최소화 하위공간 알고리즘을 제안한다. 데이터 적합도 항에 대한 확률적 근사와 하위공간 가속을 활용하여 수렴성을 보장한다. 약간의 가정 하에 알고리즘은 진짜 해로 거의 확실히 수렴하며, 적응형 필터 식별 및 희소 신호 복원 응용 분야에서 뛰어난 성능을 보인다.

ABSTRACT

Stochastic approximation techniques play an important role in solving many problems encountered in machine learning or adaptive signal processing. In these contexts, the statistics of the data are often unknown a priori or their direct computation is too intensive, and they have thus to be estimated online from the observed signals. For batch optimization of an objective function being the sum of a data fidelity term and a penalization (e.g. a sparsity promoting function), Majorize-Minimize (MM) methods have recently attracted much interest since they are fast, highly flexible, and effective in ensuring convergence. The goal of this paper is to show how these methods can be successfully extended to the case when the data fidelity term corresponds to a least squares criterion and the cost function is replaced by a sequence of stochastic approximations of it. In this context, we propose an online version of an MM subspace algorithm and we study its convergence by using suitable probabilistic tools. Simulation results illustrate the good practical performance of the proposed algorithm associated with a memory gradient subspace, when applied to both non-adaptive and adaptive filter identification problems.

연구 동기 및 목표

• 데이터 적합도 항에 대한 확률적 근사를 활용하여 주도-최소화(MM) 최적화 기법을 온라인 환경으로 확장하는 것.
• 전체 차원의 MM 방법에서 발생하는 계산 부담을 줄이기 위해 업데이트를 저차원 하위공간으로 제한하는 것.
• 데이터 및 정규화 함수에 대한 약한 가정 하에 알고리즘의 거의 확실한 수렴을 보장하는 것.
• 필터 식별 및 희소 복원과 같은 적응형 신호 처리 및 머신러닝 문제에서의 실용적 효과성을 입증하는 것.

제안 방법

• 스트리밍 데이터의 통계가 알려져 있지 않은 상황에서, 기대 최소제곱 기준의 확률적 근사를 사용하여 처리한다.
• 각 반복 단계에서 헤시안 행렬의 근사치를 사용하여 목적함수를 지배하는 서로서비스 함수를 구성함으로써 내림차순과 수렴을 보장한다.
• 하위공간 가속은 현재 기울기와 메모리 벡터(예: 반복 간의 차이)의 조합에 국한된 업데이트를 통해 계산 비용을 감소시킨다.
• 메모리 기울기 하위공간을 활용하여 고차원 환경에서 수렴 속도와 안정성을 향상시킨다.
• 확률적 도구를 사용하여 수렴성을 증명하며, 기울기 노름의 거의 확실한 합산성과 옷스트로스키 정리를 활용한다.
• 이 방법은 다양한 미분 가능하고 비볼록 정규화 함수에 대해 적용 가능하며 유연하다.

실험 결과

연구 질문

• RQ1 전체 데이터 통계가 알려져 있지도 않거나 계산하기 어려운 온라인 및 확률적 환경에서 MM 기법을 효과적으로 확장할 수 있는가?
• RQ2 계산 비용을 줄이면서도 수렴성을 유지하기 위해 하위공간 가속을 확률적 MM 알고리즘에 통합할 수 있는가?
• RQ3 이러한 온라인 MM 하위공간 알고리즘의 수렴에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ4 불확실성 하에서 비적응형 및 적응형 신호 처리 작업에서 알고리즘이 강건한 성능을 유지하는가?
• RQ5 메모리 기울기 하위공간은 고차원 문제에서 수렴 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 표준 가정 하에 진짜 목적함수의 임계점으로 반복값이 거의 확실히 수렴함을 보장한다.
• 기울기 노름 수열은 거의 확실히 합산 가능하며, 이는 반복값이 결국 의미 있는 변화를 멈춘다는 것을 의미한다.
• 정규화 함수가 볼록일 경우 알고리즘은 거의 확실히 유일한 전역 최소화점을 수렴하므로 전역 최적성 보장된다.
• 시뮬레이션 결과는 비적응형 및 적응형 필터 식별 작업 모두에서 강력한 실용적 성능을 보였다.
• 메모리 기울기 하위공간은 고차원 환경에서 수렴 속도와 안정성을 크게 향상시킨다.
• 데이터 통계가 부분적으로만 알려져 있거나 온라인으로 추정되는 경우에도 알고리즘은 강건성과 효율성을 유지한다.