[논문 리뷰] Two-block vs. Multi-block ADMM: An empirical evaluation of convergence

André Gonçalves, Xiaoli Liu외 1명|arXiv (Cornell University)|2019. 07. 10.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 알츠하이머병, 파킨슨병 및 대기질 예측 데이터셋에서 이블록 ADMM 대 다블록 ADMM을 실증적으로 평가하며, 수렴 속도, 원시 잔차 감소 및 예측 정확도 측면에서 다블록 ADMM이 이블록 ADMM을 일관되게 뛰어넘는 것으로 밝혀냈다. 이론적 우려에도 불구하고, 테스트한 모든 이중 스텝 크기에서 다블록 ADMM은 더 작은 원시 잔차와 더 나은 검증 성능을 달성하여 실무에서 이블록 ADMM보다 선호되어야 한다고 제안한다.

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) has become a widely used optimization method for convex problems, particularly in the context of data mining in which large optimization problems are often encountered. ADMM has several desirable properties, including the ability to decompose large problems into smaller tractable sub-problems and ease of parallelization, that are essential in these scenarios. The most common form of ADMM is the two-block, in which two sets of primal variables are updated alternatingly. Recent years have seen advances in multi-block ADMM, which update more than two blocks of primal variables sequentially. In this paper, we study the empirical question: {\em Is two-block ADMM always comparable with sequential multi-block ADMM solving an equivalent problem?} In the context of optimization problems arising in multi-task learning, through a comprehensive set of experiments we surprisingly show that multi-block ADMM consistently outperformed two-block ADMM on optimization performance, and as a consequence on prediction performance, across all datasets and for the entire range of dual step sizes. Our results have an important practical implication: rather than simply using the popular two-block ADMM, one may considerably benefit from experimenting with multi-block ADMM applied to an equivalent problem.

연구 동기 및 목표

• 같은 볼록 최적화 문제를 해결할 때 이블록 ADMM이 항상 다블록 ADMM과 비교 가능할지 조사하기 위해.
• 실세계의 다중 작업 학습 문제에서 두 변형의 실증적 수렴 행동과 예측 성능을 평가하기 위해.
• 이블록 ADMM이 기본 선택 사항으로 여겨지는 가정을 도전하기 위해 다블록 ADMM을 실용적인 대안로 테스트하기 위해.
• 이중 스텝 크기가 이블록 및 다블록 ADMM의 수렴 및 일반화 성능에 미치는 영향을 평가하기 위해.
• 대규모 볼록 최적화 문제에 대해 ADMM 변형을 선택할 때 연구자 및 실무자에게 실용적 지침을 제공하기 위해.

제안 방법

• 연구는 동일한 문제 설정(선형화된 TS-MTL)을 사용하여 이블록 및 다블록 ADMM을 비교하며, 단일 이중 스텝 크기를 하이퍼파라미터로 사용한다.
• 실험은 알츠하이머병, 파킨슨병 및 대기질 예측 데이터셋 3개에서 동일한 문제 설정을 사용한다.
• 각 데이터셋에 대해 두 방법 모두 1,000회 반복(일부 케이스에서는 10,000회)을 수행하고, 변동성을 평가하기 위해 10번 반복한다.
• 수렴은 원시 잔차, 목적함수 값 및 테스트 데이터의 검증 nMSE로 측정된다.
• 다블록 ADMM은 순차적 원시 업데이트를 사용하며, 이블록 프레임워크를 직접 연장한다.
• 모든 비교는 넓은 범위의 이중 스텝 크기(최대 5개 지수 정도)를 통해 수행되어 탄력성 평가가 이루어진다.

실험 결과

연구 질문

• RQ1 다블록 ADMM은 동일한 문제에서 이블록 ADMM보다 더 빠르고 안정적으로 수렴하는가?
• RQ2 다양한 데이터셋과 이중 스텝 크기에서 다블록 ADMM이 이블록 ADMM보다 일관되게 성능 우위를 점할 수 있는가?
• RQ3 수렴에 대한 이론적 우려에도 불구하고 다블록 ADMM은 예측 성능을 더 뛰어나게 달성할 수 있는가?
• RQ4 이중 스텝 크기의 선택이 이블록 및 다블록 ADMM의 수렴 및 일반화 성능에 어떻게 영향을 미치는가?
• RQ5 이블록 ADMM이 수렴하지 못하는 조건에서 다블록 ADMM은 여전히 안정적인가?

주요 결과

• 모든 데이터셋과 이중 스텝 크기에서 다블록 ADMM은 이블록 ADMM보다 수십 배 이상 작은 원시 잔차를 달성했다.
• 알츠하이머병 데이터셋에서 다블록 ADMM은 이블록 ADMM 대비 원시 잔차를 최대 3개 지수 정도 감소시켰다.
• 파킨슨병 데이터셋에서 이블록 ADMM은 ρ = 0.5 및 ρ = 1일 때 정체되어 원시 잔차 또는 검증 nMSE를 감소시키지 못했지만, 다블록 ADMM은 계속 수렴했다.
• 모든 ρ 값에서 다블록 ADMM은 이블록 ADMM보다 일관되게 낮은 검증 nMSE를 달성했으며, ρ 값이 클수록 격차가 커졌다.
• 이블록 ADMM은 ρ > 1일 때 발산했지만, 다블록 ADMM은 더 큰 ρ 값에서도 안정적으로 수렴했다.
• 대기질 예측에서 다블록 ADMM은 더 높은 ρ 값(예: ρ = 1)에서 더 안정적인 수렴과 향상된 성능를 보였으며, 낮은 ρ 값에서는 nMSE의 차이가 크지 않았다.