[논문 리뷰] Proximal Adam: Robust Adaptive Update Scheme for Constrained Optimization

P. Melchior, R. Joseph외 1명|arXiv (Cornell University)|2019. 10. 22.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 Lipschitz 상수의 명시적 계산이 필요 없이 Adam 방식의 적응형 학습률을 Proximal Gradient Method (PGM)에 통합하는 새로운 적응형 프락시멀 그래디언트 방법인 AdaProx를 제안한다. 기울기의 이동 평균과 프락시멀 연산자를 통한 적응형 스텝 사이즈를 활용하여, 제약 조건이 있는 행렬 분해 과제에서 PGM보다 빠른 수렴 속도와 낮은 런타임을 달성하며, 최종 손실과 효율성 면에서 기준 방법을 능가한다.

ABSTRACT

We implement the adaptive step size scheme from the optimization methods AdaGrad and Adam in a novel variant of the Proximal Gradient Method (PGM). Our algorithm, dubbed AdaProx, avoids the need for explicit computation of the Lipschitz constants or additional line searches and thus reduces per-iteration cost. In test cases for Constrained Matrix Factorization we demonstrate the advantages of AdaProx in fidelity and performance over PGM, while still allowing for arbitrary penalty functions. The python implementation of the algorithm presented here is available as an open-source package at https://github.com/pmelchior/proxmin.

연구 동기 및 목표

• 복잡한 비선형 모델에서 비용이 많이 들거나 비현실적인 Lipschitz 상수의 명시적 계산을 피할 수 있는 프락시멀 최적화 방법을 개발하는 것.
• Adam 및 그 변종의 적응형 학습률 기법을 프락시멀 그래디언트 방법에 통합하여 수렴성과 안정성을 향상시키는 것.
• 계산 효율성과 수렴 보장을 유지하면서도 임의의 프락시멀 정규화 항을 사용할 수 있도록 하는 것.
• 손실 함수 f의 평가가 비용이 많이 들지만 정규화 항 r의 프락시멀 연산자는 계산 가능할 경우, 반복 단위 비용을 줄이는 것.

제안 방법

• AdaProx는 PGM의 고정된 스텝 사이즈 αₜ ∈ (0, 2/L)를 적응형 모멘텀 추정 기반의 적응형 스텝 사이즈로 대체한다.
• 해당 방법은 각 반복 단계에서 정규화 항 r(𝐱)의 프락시멀 연산자를 사용하여, r의 미분 가능성이 없더라도 제약 조건을 유지한다.
• β₁ 및 β₂ 가중 이동 평균을 통해 기울기의 분산을 기반으로 한 적응형 학습률을 사용하며, AMSGrad 및 PAdam과 마찬가지로 선택적 교정 항을 포함할 수 있다.
• 알고리즘은 각 파라미터별로 효과적인 학습률을 동적으로 조정하여 초기 하이퍼파rameter 선택에 대한 민감도를 낮추고 수렴 안정성을 향상시킨다.
• 단일 순방향-역방향 반복을 통해 구현되며, 평균적으로 1~2회의 보조 반복만 필요하여 계산 오버헤드를 최소화한다.
• 여러 가지 적응형 변종을 지원한다: AdaProx-Adam, AdaProx-AMSGrad, AdaProx-AdamX, 그리고 AdaProx-PAdam으로, 후자는 분산 스케일링을 제어하기 위해 힘 파라미터 p를 도입한다.

실험 결과

연구 질문

• RQ1 Adam에서 유래한 적응형 학습률 기법을 Lipschitz 상수의 명시적 지식 없이도 프락시멀 그래디언트 방법에 성공적으로 통합할 수 있는가?
• RQ2 손실 함수 평가가 비용이 많이 들지만 Lipschitz 상수가 계산이 어려운 제약 조건이 있는 최적화 문제에서, AdaProx 알고리즘이 표준 PGM보다 더 빠른 수렴 속도와 낮은 런타임을 달성하는가?
• RQ3 다양한 적응형 변종(예: AMSGrad, PAdam)이 다양한 행렬 분해 문제에서 최종 손실, 수렴 속도, 안정성 면에서 어떻게 비교되는가?
• RQ4 PAdam에서의 힘 파라미터 p의 선택이 최적화 과정의 안정성과 성능에 어느 정도의 영향을 미치는가?
• RQ5 Lipschitz 상수가 계산이 불가능한 비선형, 비볼록 또는 복잡한 관측 모델에서 AdaProx는 높은 해의 정밀도와 일반화 성능을 유지할 수 있는가?

주요 결과

• 아스트로노미 제약 행렬 분해 문제에서 AdaProx-AMSGrad는 런타임 0.12초를 기록하여 PGM보다 빠른 속도를 달성했으며, 최종 손실은 略 높았지만 성능이 뛰어났다.
• p=0.45로 설정한 AdaProx-PAdam은 최종 손실 1398.2를 기록하여 PGM(2538.4) 및 다른 AdaProx 변종보다 뚜렷이 뛰어난 성능을 보였다.
• 반복당 프락시멀 보조 반복 수가 1~2회에 불과하여, 반복 단위 계산 비용이 낮음을 입증했다.
• AdaProx-AMSGrad는 단일 CPU에서 런타임을 0.12초로 줄였으며, PGM의 6.3초와 비교해도 유사한 반복 수를 기반으로 하였다.
• f의 평가가 비용이 많이 들고 L 계산이 불가능한 상황에서도, 적응형 기법은 PGM보다 더 빠른 수렴과 더 나은 최종 해 품질을 달성했다.
• 오픈소스 파이썬 패키지 `proxmin`은 https://github.com/pmelchior/proxmin 에서 이용 가능하며, 실용적 구현을 지원한다.