[논문 리뷰] Inertial Stochastic PALM and its Application for Learning Student-t Mixture Models.

Johannes Hertrich, Gabriele Steidl|arXiv (Cornell University)|2020. 05. 05.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 2

한 줄 요약

이 논문은 비연속, 비볼록 목적함수를 최소화하기 위한 SPRING 알고리즘의 관성 스토하스틱 변종인 iSPRING을 제안하며, 약한 가정 하에 선형 수렴를 달성한다. 또한 관성 PALM 방법(정규적 및 스토하스틱)의 적용 가능성을 입증하며, 기준 방법들에 비해 향상된 성능과 이론적 수렴성을 보여준다.

ABSTRACT

Inertial algorithms for minimizing nonsmooth and nonconvex functions as the inertial proximal alternating linearized minimization algorithm (iPALM) have demonstrated their superiority with respect to computation time over their non inertial variants. In many problems in imaging and machine learning, the objective functions have a special form involving huge data which encourage the application of stochastic algorithms. While the stochastic gradient descent algorithm is still used in the majority of applications, recently also stochastic algorithms for minimizing nonsmooth and nonconvex functions were proposed. In this paper, we derive an inertial variant of the SPRING algorithm, called iSPRING, and prove linear convergence of the algorithm under certain assumptions. Numerical experiments show that our new algorithm performs better than SPRING or its deterministic counterparts, although the improvement for the inertial stochastic approach is not as large as those for the inertial deterministic one. The second aim of the paper is to demonstrate that (inertial) PALM both in the deterministic and stochastic form can be used for learning the parameters of Student-$t$ mixture models. We prove that the objective function of such models fulfills all convergence assumptions of the algorithms and demonstrate their performance by numerical examples.

연구 동기 및 목표

• 기계학습 및 영상 처리에서 흔한 대규모 비연속 비볼록 문제를 위한 관성 스토하스틱 최적화 알고리즘을 개발한다.
• 관성 방법의 수렴 이론을 스토하스틱 설정으로 확장하여 적절한 가정 하에 선형 수렴 보장한다.
• Student-t 혼합 모델과 같은 복잡한 통계 모델 학습에 있어 관성 PALM 변종의 실용적 유용성을 입증한다.
• 합성 및 실제 환경에서 비관성 및 비정규적 대안들과의 성능 비교를 수행한다.

제안 방법

• 모멘텀 유사 가속을 스토하스틱 프락시멀 그래디언트 단계에 통합하여 SPRING 알고리즘의 관성 변종인 iSPRING를 유도한다.
• 과거 반복값을 활용하여 스토하스틱 비볼록 최적화에서 수렴을 가속화하는 적응형 모멘텀 메커니즘을 도입한다.
• 표준 가정 하에 iSPRING의 선형 수렴성을 증명하며, 목적함수의 약한 볼록성 및 준대수기하학적 구조 포함.
• 로그우도를 비연속 비볼록 최적화 문제로 공식화하여 관성 PALM 프레임워크를 Student-t 혼합 모델의 파라미터 학습에 적용한다.
• 블록 단위 갱신과 혼합 모델의 잠재변수 구조에 맞춘 프락시멀 연산자를 사용한다.
• SPRING 및 비정규적 PALM과의 수렴 속도 및 해 품질 비교를 통한 수치 실험을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비연속 비볼록 최적화를 위한 관성 가속은 스토하스틱 알고리즘으로 성공적으로 확장될 수 있는가?
• RQ2 제안된 iSPRING 알고리즘은 합리적인 가정 하에 스토하스틱 설정에서 선형 수렴를 달성하는가?
• RQ3 수렴 속도 및 해 품질 측면에서 iSPRING는 SPRING 및 비정규적 PALM보다 어떻게 성능이 뛰어나며?
• RQ4 관성 PALM 방법은 Student-t 혼합 모델 학습에 효과적으로 적용될 수 있으며, 목적함수는 수렴 조건을 충족하는가?
• RQ5 중심 꼬리 분포를 가진 혼합 모델에 대한 스토하스틱 최적화에서 관성의 실증적 영향은 무엇인가?

주요 결과

• 제안된 iSPRING 알고리즘은 약한 가정 하에 선형 수렴를 달성하며, 관성 방법의 이론적 보장을 스토하스틱 환경으로 확장한다.
• 수치 실험 결과 iSPRING는 SPRING 및 비정규적 대안들보다 수렴 속도와 해 품질 측면에서 뛰어나나, 비정규적 경우에 비해 성능 향상 폭은 다소 떨어진다.
• Student-t 혼합 모델의 목적함수는 관성 PALM 알고리즘의 수렴을 보장하는 데 필요한 모든 조건을 충족하며, 이론적 근거를 제공한다.
• 실증 결과는 비정규적 및 스토하스틱 관성 PALM 방법이 모두 Student-t 혼합 모델 학습에 효과적임을 보이며, iSPRING는 대규모 데이터에서 뛰어난 안정성을 보인다.
• 스토하스틱 환경에서 관성 메커니즘이 측정 가능한 가속 효과를 제공하지만, 비정규적 대안에 비해 성능 향상 폭은 다소 작아 향후 알고리즘 개선 여지가 있음을 시사한다.