[논문 리뷰] Fast and Provable ADMM for Learning with Generative Priors

Fabian Latorre Gómez, Armin Eftekhari외 1명|arXiv (Cornell University)|2019. 07. 07.

Sparse and Compressive Sensing Techniques참고 문헌 60인용 수 20

한 줄 요약

이 논문은 GAN 생성기와 같은 깊이 신경망으로 정의된 비볼록 생성 사전을 가진 볼록 목표 함수를 최적화하기 위한 빠르고 증명 가능하게 수렴하는 선형화된 ADMM 알고리즘을 제안한다. 생성기 네트워크의 기하학적 구조를 활용하여 수렴 속도를 가속화하고, 비연속 목표 함수를 효율적으로 처리하여 그래디언트 디센트보다 이론적 보장과 함께 노이즈 제거 및 압축 센싱 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this work, we propose a (linearized) Alternating Direction Method-of-Multipliers (ADMM) algorithm for minimizing a convex function subject to a nonconvex constraint. We focus on the special case where such constraint arises from the specification that a variable should lie in the range of a neural network. This is motivated by recent successful applications of Generative Adversarial Networks (GANs) in tasks like compressive sensing, denoising and robustness against adversarial examples. The derived rates for our algorithm are characterized in terms of certain geometric properties of the generator network, which we show hold for feedforward architectures, under mild assumptions. Unlike gradient descent (GD), it can efficiently handle non-smooth objectives as well as exploit efficient partial minimization procedures, thus being faster in many practical scenarios.

연구 동기 및 목표

• GAN의 비볼록 생성 사전을 가진 최적화에 대해 증명 가능하게 수렴하고 효율적인 알고리즘이 부족한 문제를 해결하기 위해.
• ℓ₁ 또는 ℓ∞-노름 노이즈 제거와 같은 비연속 목표 함수를 다룰 때 그래디언트 디센트의 한계를 극복하기 위해.
• 신경망 제약 조건이 있는 비볼록 문제에 적용된 선형화된 ADMM 프레임워크에 대한 수렴 보장을 제공하기 위해.
• 빠른 수렴 속도를 보장하는 생성기 네트워크의 기하학적 조건을 규명하기 위해.
• 통계적 학습 설정에서 경험 리스크 최소화 및 라데마처 복잡도 경계를 고려해 이론적 결과를 확장하기 위해.

제안 방법

• G가 미분 가능 생성 네트워크인 w = G(z) 제약 조건 하에 볼록 함수 F(w,z)를 최소화하는 최적화 문제로 문제를 수립한다.
• 비볼록 제약 조건 w = G(z)를 다루기 위해 선형화된 ADMM 프레임워크를 적용하여 w와 z에 대한 효율적 번갈아 최소화를 가능하게 한다.
• 비연속 정규화자 R과 H에 대해 프록시 매핑을 사용하여 계산 가능성을 보장한다.
• L의 강볼록성 하에 G의 기하적 성질(예: 근접 등장성, 매끄러움)을 바탕으로 수렴 속도를 유도한다.
• 증강 라그랑주안에서 w에 대한 정확한 최소화를 달성하기 위해 폐형 해를 활용하며, 필요에 따라 SVD를 통한 행렬 역행렬 계산을 활용한다.
• 이중 변수 갱신과 적응형 스텝 사이즈를 포함한 원시-이중 갱신 체계를 도입하여 안정성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 선형화된 ADMM 알고리즘이 생성 사전이 있는 비볼록 최적화에 대해 증명 가능하게 빠른 수렴을 달성할 수 있는가?
• RQ2 생성기 네트워크 G의 어떤 기하학적 성질이 이 프레임워크에서 수렴성과 빠른 수렴 속도를 보장하는가?
• RQ3 제안된 ADMM 방법은 ℓ₁ 및 ℓ∞-노름과 같은 비연속 목표 함수를 다룰 때 그래디언트 디센트보다 어떻게 다른가?
• RQ4 알고리즘은 경험 리스크를 고려한 통계적 학습 설정으로 확장될 수 있으며, 일반화 오차 경계는 어떻게 유도할 수 있는가?
• RQ5 제안된 ADMM는 Bora 등(2017)의 기존 방법과 어떤 관계가 있는가?

주요 결과

• 제안된 선형화된 ADMM는 근접 등장성과 매끄러움과 같은 약한 기하학적 가정 하에 빠른 수렴 속도를 달성한다.
• 알고리즘은 그래디언트 디센트와 비교해 유사한 수렴 속도를 보장하며, 비연속 목표 함수에서 뛰어난 성능을 발휘한다.
• 압축 센싱 및 노이즈 제거 작업에서, 비연속성 처리 능력 덕분에 표준 그래디언트 디센트보다 성능이 뛰어나며, 특히 ℓ₁ 및 ℓ∞-노름에서 두각을 나타낸다.
• L의 강볼록성 하에 이론적 수렴이 확립되었으며, 더 넓은 통계적 학습 응용을 위해 제한 강볼록성으로 확장되었다.
• 라데마처 복잡도를 사용하여 일반화 오차 경계를 도출하였으며, 생성 사전를 사용한 학습에 필요한 학습 샘플 수를 정량화하였다.
• 폐형 해를 통한 w에 대한 정확한 최소화와 딥 네트워크 내 효율적 정방향/역방향 전파를 통해 계산 효율성을 달성하였다.