[논문 리뷰] Nonconvex proximal splitting: batch and incremental algorithms

Suvrit Sra|arXiv (Cornell University)|2011. 09. 01.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 대규모, 비미분가능, 비볼록 복합 최적화 문제를 해결하기 위해 비볼록 비정확한 프락시멀 스플리팅(NIPS) 프레임워크를 제안한다. 비소멸적인 계산 오차와 감소하지 않는 스텝 사이즈를 허용함으로써 NIPS는 확장 가능한 배치 및 인크리멘탈 알고리즘을 가능하게 하며, 인크리멘탈 비볼록 프락시멀 스플리팅에 대한 첫 번째 분석을 제공한다. 대규모 행렬 분해에서의 실증적 검증을 통해 최신 기법들과의 경쟁력을 입증하였다.

ABSTRACT

Within the unmanageably large class of nonconvex optimization, we consider the rich subclass of nonsmooth problems that have composite objectives---this already includes the extensively studied convex, composite objective problems as a special case. For this subclass, we introduce a powerful, new framework that permits asymptotically non-vanishing perturbations. In particular, we develop perturbation-based batch and incremental (online like) nonconvex proximal splitting algorithms. To our knowledge, this is the first time that such perturbation-based nonconvex splitting algorithms are being proposed and analyzed. While the main contribution of the paper is the theoretical framework, we complement our results by presenting some empirical results on matrix factorization.

연구 동기 및 목표

• 복합 목적이 있는 대규모, 비미분가능, 비볼록 최적화 문제를 다루기 위해.
• 소멸적인 오차와 감소하는 스텝 사이즈라는 제약 조건이 없는, 비소멸적인 계산 오차와 비감소 스텝 사이즈를 허용하는 새로운 알고리즘 프레임워크를 개발하기 위해.
• 인크리멘탈 비볼록 프락시멀-스플리팅 알고리즘에 대한 첫 번째 분석을 제공하기 위해.
• 대규모 행렬 분해 문제에서 프레임워크의 확장성과 효능을 입증하기 위해.
• 단조 감소 또는 서그레디언트 기반 접근 방식에 의존하는 기존 방법의 한계를 극복하기 위해.

제안 방법

• 문제를 매끄럽고 비볼록일 수 있는 함수 f와 볼록이며 비미분가능일 수 있는 정규화 항 g를 포함하는 복합 목표 함수의 비제약 최소화 문제로 재정의한다.
• 비미분가능한 정규화 항을 다루기 위해 매끄러운 기울기 계산 단계와 프락시멀 단계를 분리하는 프락시멀 스플리팅을 적용한다.
• 비소멸적인 오차를 명시적으로 모델링함으로써 실세계의 확장성에 매우 중요하며, 소멸적인 오차나 스텝 사이즈 가정이 필요 없어진다.
• 배치 및 인크리멘탈 변형 알고리즘을 유도하며, 인크리멘탈 변형은 온라인 및 대규모 환경에 적합하다.
• 보조 변수를 사용한 문제 재정의를 통해 대규모 비미분가능 행렬 분해에 대한 프레임워크를 적용하며, 하위 문제는 닫힌 형태 또는 효율적인 업데이트로 해결한다.
• 소멸적인 오차나 감소하는 스텝 사이즈 가정 없이도 수렴성을 확보하며, Solodov(1997)의 작업을 비미분가능하고 복합적이며 비볼록 문제로 확장한다.

실험 결과

연구 질문

• RQ1 비소멸적인 계산 오차와 비감소 스텝 사이즈를 허용하는 비볼록 프락시멀-스플리팅 프레임워크를 개발할 수 있는가?
• RQ2 목표 함수의 단조 감소를 요구하지 않는, 인크리멘탈이고 확장 가능한 알고리즘을 비볼록 복합 문제에 대해 설계할 수 있는가?
• RQ3 수렴 속도와 해의 품질 측면에서 제안된 NIPS 프레임워크는 SGGD 및 SPAMS와 같은 기존 방법과 어떻게 비교되는가?
• RQ4 희소성 유도 정규화 항이 있는 대규모 행렬 분해에 프레임워크를 효과적으로 적용할 수 있는가?
• RQ5 비볼록, 비미분가능, 비소멸적인 오차 설정에서 이론적 수렴 보장 조건는 무엇인가?

주요 결과

• NIPS 프레임워크는 인크리멘탈 비볼록 프락시멀-스플리팅 알고리즘에 대한 이론적 분석을 처음으로 제공하며, 대규모 문제에 대한 확장 가능한 해법을 가능하게 한다.
• 실증 결과에 따르면, NIPS의 Matlab 구현은 조밀 행렬에서 매우 최적화된 C++ SPAMS 툴박스와 경쟁 가능하며, C++로 이식할 경우 더 큰 속도 향상이 기대된다.
• 희소 행렬 분해 작업에서는 SGGD보다 더 낮은 목표 함수 값을 기록하고, 훨씬 더 희소한 해를 얻었으며, SGGD는 광범위한 스텝 사이즈 튜닝이 필요로 했다.
• 하이퍼파rameter 튜닝이 덜 필요한 상황에서도 NIPS는 해의 품질과 희소성에서 SGGD를 능가했으며, 이는 강건성과 실용적 이점을 입증한다.
• NIPS 방법은 배치 및 인크리멘탈 형태의 볼록 및 비볼록 프론트-백워드 스플리팅, 기울기 투영, 프락시멀-포인트 방법 등 다양한 문제에 적용 가능하다.
• 비소멸적인 오차를 처리할 수 있는 능력 덕분에, 계산 노이즈가 본질적으로 존재하고 제어할 수 없는 복잡한 시스템에 더 현실적인 적용이 가능하다.