[논문 리뷰] A Generic online acceleration scheme for Optimization algorithms via Relaxation and Inertia

Franck Iutzeler, Julien M. Hendrickx|arXiv (Cornell University)|2016. 03. 17.

Advanced Optimization Algorithms Research참고 문헌 33인용 수 4

한 줄 요약

이 논문은 고정점 최적화 알고리즘에서의 이완 및 관성 기반 일반적인 온라인 가속 기법을 제안하며, 연산자의 국소 선형 근사에 기반해 매개변수를 자동으로 튜닝한다. 평균화된 연산자에 대해 수렴성을 확립하고, 라소 및 로지스틱 회귀 문제에서 프록시멀 그라디언트, ADMM, 원시-이중대칭 방법에 대해 뚜렷한 성능 향상을 보여준다.

ABSTRACT

We propose generic acceleration schemes for a wide class of optimization and iterative schemes based on relaxation and inertia. In particular, we introduce methods that automatically tunes the acceleration coefficients online, and establish their convergence. This is made possible by considering the class of fixed-points iterations over averaged operators which encompass gradient methods, ADMM, primal dual algorithms, an so on.

연구 동기 및 목표

• 고정점 최적화 알고리즘에서 이완 및 관성 매개변수를 튜닝하는 데 있어 일반적으로 히우리스틱이거나 문제에 특화된 방식을 해결한다.
• 그라디언트 방법, ADMM, 원시-이중대칭 기법을 포함한 광범위한 알고리즘 클래스에 적용 가능한 통합 프레임워크를 개발한다.
• 강력한 볼록성 등의 문제 전용 상수를 사전에 알지 못해도 되는, 자동이고 온라인으로 적응 가능한 가속 매개변수를 제공한다.
• 평균화된 연산자 프레임워크 하에서 제안된 온라인 가속 방법에 대한 이론적 수렴 보장을 제공한다.
• 실제 문제인 라소 및 로지스틱 회귀에서 표준 및 기존의 가속된 방법들(예: Fast ADMM)에 비해 실용적 우수성을 입증한다.

제안 방법

• 수렴 분석을 위해 단조 연산자 이론을 활용해 최적화 알고리즘을 평균화된 연산자에 대한 고정점 반복으로 공식화한다.
• 외부 수정으로 적용 가능한 세 가지 가속 변형을 도입한다: 이완, 관성, 교차 관성.
• 온라인 매개변수 튜닝을 위해 각 반복에서 연산자를 국소적으로 애프린으로 근사하고, 선형 근사의 스펙트럼 성질에 기반해 최적의 이완/관성 매개변수를 계산한다.
• 평균화된 연산자 프레임워크 하에서 온라인 방법의 수렴 증명을 유도하며, 애프린 경우 선형 수렴 속도를 확보한다.
• 기본 알고리즘을 고정점 반복으로 표현하고 가속 규칙을 적용함으로써 프록시멀 그라디언트, ADMM, 원시-이중대칭 알고리즘에 이 기법을 적용한다.
• 라소 및 로지스틱 회귀 문제에 대해 구현하고 검증하며, 기존의 표준 및 Fast ADMM 대비 기능 오차와 매개변수 동역학을 비교한다.

실험 결과

연구 질문

• RQ1 이완 및 관성을 고정점 알고리즘에 대해 체계적으로 통합한 일반적인 온라인 가속 기법을 제안할 수 있는가?
• RQ2 문제 상수를 사전에 알지 못하는 상황에서 이완 및 관성 매개변수의 최적 선택은 무엇인가?
• RQ3 국소 선형 근사를 통한 온라인 매개변수 튜닝이 다양한 최적화 알고리즘에서 수렴성과 성능 향상을 보장하는가?
• RQ4 기존의 가속된 체계(예: Fast ADMM)에 비해 제안된 온라인 방법은 수렴 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ5 프록시멀 그라디언트, ADMM, 원시-이중대칭 알고리즘에 대해 최소한의 알고리즘 변경으로 통일적으로 적용 가능한가?

주요 결과

• 제안된 온라인 관성 방법(OIM)은 라소 문제에서 모든 테스트 방법 중 가장 빠른 수렴 속도를 기록하며, 표준 ADMM 및 Fast ADMM를 크게 앞서간다.
• 온라인 이완 방법(ORM)과 온라인 교차 관성 방법(OAIM)은 안정적이고 단조로운 매개변수 시퀀스를 보이며, Fast ADMM 및 OIM의 진동하는 행동과 대비된다.
• 라소 문제(Fa)에서 OIM은 50회 반복 이내로 기능 오차를 10−15 수준으로 줄였고, 표준 ADMM와 Fast ADMM(리스타트 포함)는 각각 10−3 및 10−6 수준에 머물렀다.
• ℓ1-정규화된 로지스틱 회귀 문제(Fb)에서 OIM은 50회 반복 이내로 기능 오차를 10−10 이하로 낮췄지만, 표준 ADMM 및 Fast ADMM는 10−4 이상을 유지했다.
• 온라인 가속을 적용한 원시-이중대칭 알고리즘(OIM)은 100회 반복 이내로 기능 오차를 10−11 수준으로 낮추어, 이 기법이 ADMM를 초월해 효과적임을 입증했다.
• 제안된 온라인 방법들은 리스타트 메커니즘을 필요로 하지 않아도 안정적이며, 일반적인 경우 수렴을 위해 리스타트에 의존하는 Fast ADMM와 대비된다.