[논문 리뷰] Differentiable Linearized ADMM

Xingyu Xie, Jianlong Wu외 3명|arXiv (Cornell University)|2019. 05. 15.

DNA and Biological Computing인용 수 26

한 줄 요약

이 논문은 고전적인 LADMM 알고리즘을 영감으로 삼은 학습 가능한 딥 뉴럴 네트워크인 Differentiable Linearized ADMM (D-LADMM)를 제안한다. 이는 고정된 프락시멀 연산자를 학습 가능한 활성화 함수로 대체하고 선형 제약 조건을 학습 가능한 가중치로 최적화한다. 주요 기여는 미세한 조건 하에 D-LADMM가 선형 수렴성을 확보한다는 엄밀한 이론적 증명이며, 실험 결과로 표준 LADMM보다 더 빠른 수렴 속도와 뛰어난 성능을 보였다.

ABSTRACT

Recently, a number of learning-based optimization methods that combine data-driven architectures with the classical optimization algorithms have been proposed and explored, showing superior empirical performance in solving various ill-posed inverse problems, but there is still a scarcity of rigorous analysis about the convergence behaviors of learning-based optimization. In particular, most existing analyses are specific to unconstrained problems but cannot apply to the more general cases where some variables of interest are subject to certain constraints. In this paper, we propose Differentiable Linearized ADMM (D-LADMM) for solving the problems with linear constraints. Specifically, D-LADMM is a K-layer LADMM inspired deep neural network, which is obtained by firstly introducing some learnable weights in the classical Linearized ADMM algorithm and then generalizing the proximal operator to some learnable activation function. Notably, we rigorously prove that there exist a set of learnable parameters for D-LADMM to generate globally converged solutions, and we show that those desired parameters can be attained by training D-LADMM in a proper way. To the best of our knowledge, we are the first to provide the convergence analysis for the learning-based optimization method on constrained problems.

연구 동기 및 목표

• 제약 조건 최적화 문제에서 학습 기반 최적화 방법의 이론적 수렴 분석 부족 문제를 해결하기 위해.
• 제약 조건 유지 및 수렴성을 보장하면서도, 선형화된 ADMM(LADMM) 알고리즘의 기반을 학습 가능한 딥 러닝 기반 버전으로 개발하기 위해.
• 학습 가능한 매개변수를 가진 최적화 레이어를 엔드 투 엔드로 훈련하면서도 고전적 LADMM의 선형 수렴 속도를 유지하기 위해.
• D-LADMM가 합성 및 실제 응용 분야의 역 문제에서 표준 LADMM보다 더 빠른 수렴 속도와 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 기존 LADMM의 고정된 프락시멀 연산자를 학습 가능한 신경망 아키텍처로 대체하여 backpropagation과 훈련을 가능하게 한다.
• 제약 조건 항의 고정 행렬 A와 B를 학습 가능한 가중치로 대체하여 훈련 중 매개변수 적응을 가능하게 한다.
• 벌점 매개변수 λ를 요소별로 학습 가능한 매개변수로 일반화하여 보완 라그랑주 함수 내 방향적 적응성을 향상시킨다.
• 각 레이어가 LADMM 업데이트의 한 단계에 해당하는 K층의 순방향 신경망을 구성하여 엔드 투 엔드 최적화를 가능하게 한다.
• 보완 라그랑주 방법을 활용해 업데이트 규칙을 유도하고, backpropagation을 지원하기 위해 미분 가능한 연산을 사용한다.
• 특정 작업에 맞는 손실 함수(예: NMSE 또는 PSNR)를 사용해 최적의 매개변수를 학습시켜 수렴성과 성능 향상을 보장한다.

실험 결과

연구 질문

• RQ1 학습 기반 최적화 방법이 제약 조건 최적화 문제에 적용될 때도 선형 수렴성을 유지할 수 있는가?
• RQ2 고전적 LADMM 알고리즘을 어떻게 미분 가능하고 훈련 가능한 형태로 개선할 수 있으며, 동시에 제약 조건을 유지할 수 있는가?
• RQ3 학습 가능한 매개변수에 어떤 조건이 성립해야 제안된 D-LADMM 프레임워크에서 전역 수렴성과 선형 수렴 속도를 확보할 수 있는가?
• RQ4 D-LADMM는 실제 응용 분야의 역 문제에서 표준 LADMM보다 수렴 속도와 해의 품질 면에서 뛰어나게 성능을 낼 수 있는가?

주요 결과

• D-LADMM는 미세한 기술적 조건 하에 선형 수렴성을 확보하며, 학습 가능한 매개변수가 전역 수렴성을 보장하는 존재를 증명했다.
• 제안된 방법은 표준 LADMM보다 훨씬 더 빠른 수렴 속도를 보이며, 수렴 속도가 두 배 이상 빠르고, 반복 횟수를 약 100배 감소시켜도 동일하거나 더 뛰어난 성능을 달성했다.
• 이미지 노이즈 제거 실험에서 15층 D-LADMM는 150회 반복 시 LADMM와 동일한 성능을 달성했고, LADMM가 1,500회 반복을 거쳐야 동일한 성능에 도달했다.
• 10%의 소트 앤 페퍼 노이즈 비율에서 D-LADMM는 15층일 때 PSNR 30.1 dB를 기록했고, LADMM는 1,500회 반복을 거쳐도 이를 능가하지 못했다.
• D-LADMM의 훈련 시간은 10,000~20,000개 샘플 기준 5~9분이었고, LADMM는 12~22분이 소요되어, 훈련 오버헤드를 감안하더라도 D-LADMM가 전체적으로 더 효율적임을 보였다.
• D-LADMM의 복잡도는 O((d₁ + d₂)mnKp)이며, Kp ≪ t일 때 LADMM와 유사한 성능을 달성함으로써 계산적 이점이 있음을 확인했다.