[논문 리뷰] Metric Selection in Douglas-Rachford Splitting and ADMM

Pontus Giselsson, Stephen Boyd|arXiv (Cornell University)|2014. 10. 30.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 15

한 줄 요약

이 논문은 강한 볼록성과 미세한 매끄러움 조건 하에서 Douglas-Rachford 분할과 ADMM에 대해 선형 수렴 속도 경계를 확립하며, 이 경계가 메트릭 선택에 따라 달라지고 메트릭 선택을 통해 최적화될 수 있음을 보여준다. 또한, 비미세하거나 비강한 볼록 문제에서 성능을 크게 향상시키는 히우리스틱 메트릭 및 파라미터 선택 전략을 제안하였으며, 모델 예측 제어 예제에서 10배 이상의 속도 향상을 입증하였다.

ABSTRACT

Recently, several convergence rate results for Douglas-Rachford splitting and the alternating direction method of multipliers (ADMM) have been presented in the literature. In this paper, we show linear convergence rate bounds for Douglas-Rachford splitting under strong convexity and smoothness assumptions. We show that these bounds generalize and/or improve on similar bounds in the literature and that the bounds are tight for the class of problems under consideration. For finite dimensional Euclidean problems, we show how the rate bounds depend on the metric that is used in the algorithm. We also show how to select this metric to optimize the bound. Many real-world problems do not satisfy both the smoothness and strongly convexity assumptions. Therefore, we also propose heuristic metric and parameter selection methods to improve the performance of a wider class of problems. The efficiency of the proposed heuristics is confirmed in a numerical example on a model predictive control problem, where improvements of more than one order of magnitude are observed.

연구 동기 및 목표

• 강한 볼록성과 미세한 매끄러움 조건 하에서 Douglas-Rachford 분할과 ADMM에 대해 날카로운 선형 수렴 속도 경계를 확립하는 것.
• 유한 차원 유클리드 공간에서 수렴 속도가 메트릭 선택에 어떻게 의존하는지 분석하는 것.
• 수렴 속도 경계를 최소화하기 위한 최적의 메트릭 선택 방법을 개발하는 것.
• 비미세하거나 비강한 볼록 문제에 대해 일반화된 문제 클래스로 접근하기 위해, 히우리스틱 메트릭 및 파라미터 선택 전략을 제안하는 것.
• 모델 예측 제어 문제에 대한 수치 실험을 통해 제안된 히우리스틱의 효과성을 검증하는 것.

제안 방법

• 강한 볼록성과 미세한 매끄러움 조건 하에서 Douglas-Rachford 분할과 ADMM의 선형 수렴 속도 경계를 유도하며, 이 경계를 알고리즘의 메트릭에 따라 표현한다.
• 유한 차원 유클리드 공간에서 수렴 속도가 메트릭 선택에 어떻게 의존하는지 분석한다.
• 유도된 수렴 속도 경계를 최소화하기 위한 최적화 절차를 도출한다.
• 비미세성과 비강한 볼록성 모두를 만족하지 않는 문제에 적용 가능한 히우리스틱 메트릭 및 파라미터 선택 방법을 제안한다.
• 모델 예측 제어 문제에 대한 수치 실험을 수행하여 제안된 히우리스틱의 성능을 평가한다.
• 실제 적용에서 메트릭과 알고리즘 파라미터를 조정하기 위해 수렴 속도 경계를 가이드로 사용한다.

실험 결과

연구 질문

• RQ1 Douglas-Rachford 분할과 ADMM에서 메트릭 선택이 강한 볼록성과 미세한 매끄러움 조건 하에서 선형 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 수렴 속도 경계는 메트릭 선택을 최적화함으로써 최소화될 수 있으며, 그로 인해 도출되는 최적의 메트릭은 무엇인가?
• RQ3 비미세성과 비강한 볼록성을 동시에 만족하지 않는 문제에 대해 메트릭과 파라미터 선택은 어떻게 적응시킬 수 있는가?
• RQ4 제안된 히우리스틱 선택 방법을 사용할 경우 실질적으로 어떤 성능 향상이 달성될 수 있는가?
• RQ5 이론적 수렴 속도 경계는 실제 응용에서의 경험적 성능 향상과 얼마나 일치하는가?

주요 결과

• 유도된 선형 수렴 속도 경계는 이전 문헌의 경계보다 더 날카롭고 일반화되거나 향상된 경계를 제공한다.
• 수렴 속도 경계는 메트릭 선택에 명시적으로 의존하며, 이 메트릭을 최적화하면 경계가 크게 감소한다.
• 제안된 히우리스틱 메트릭 및 파라미터 선택 방법은 모델 예측 제어 예제에서 알고리즘 성능을 10배 이상 향상시킨다.
• 강한 볼록성과 미세한 매끄러움 조건 하에서의 문제 클래스에 대해 이론적 수렴 속도 경계는 날카로운 경계이다.
• 이론적 가정이 충족되지 않더라도 히우리스틱 방법은 실질적으로 효과적인 것으로 나타났다.
• 수치 결과는 메트릭 선택이 실제 문제에서 수렴 속도를 가속화하는 데 핵심적인 역할을 한다는 것을 확인시켜 준다.