[논문 리뷰] Accelerated Forward-Backward Optimization using Deep Learning

Sebastian Banert, Jevgenija Rudzusika외 2명|arXiv (Cornell University)|2021. 05. 11.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 수렴 보장을 보장하기 위해 학습된 업데이트를 특정 집합에 제약을 두어 FISTA와 ISTA보다 뛰어난 성능을 내는 딥러닝 기반 전진-역행 최적화 프레임워크를 제안한다. 특히 초기 반복에서 뛰어난 성능을 발휘하며 이론적 수렴성을 유지한다. 이 방법은 수렴 보장 가능한 매개변수 집합 내에서 최적의 업데이트를 학습하기 위해 신경망을 사용한다.

ABSTRACT

We propose several deep-learning accelerated optimization solvers with convergence guarantees. We use ideas from the analysis of accelerated forward-backward schemes like FISTA, but instead of the classical approach of proving convergence for a choice of parameters, such as a step-size, we show convergence whenever the update is chosen in a specific set. Rather than picking a point in this set using some predefined method, we train a deep neural network to pick the best update. Finally, we show that the method is applicable to several cases of smooth and non-smooth optimization and show superior results to established accelerated solvers.

연구 동기 및 목표

• 과학 계산 및 역문제에서 대규모 비미분가능한 볼록 최적화를 가속화하는 데 도전한다.
• LISTA와 같은 기존의 학습된 최적화 방법에서 수렴 보장의 부재를 극복한다.
• 딥러닝과 증명 가능 수렴성을 결합한 전진-역행 분할 방법을 위한 프레임워크를 개발한다.
• 제약된 업데이트 학습을 통해 초기 반복에서의 수렴 속도를 높이면서도 전역 수렴을 보장한다.
• 스pars티 프로모팅 정규화를 포함한 비미분가능 문제, 예를 들어 컴퓨터 톰로그래피(CT)에 대한 학습된 최적화의 적용 범위를 확장한다.

제안 방법

• 부드럽고 미분 가능한 볼록 함수와 비미분가능하고 적절하며 볼록이며 하부 연속적인 함수의 합을 최소화하는 방식으로 최적화를 수립한다.
• 편차 기반 접근법을 사용한다: 고정된 매개변수를 학습하는 대신, 전체 차원을 갖는 집합 내에서 수렴을 보장하는 업데이트 함수를 학습한다.
• 가속 전진-역행 방법(예: FISTA)의 수렴 이론에 기반해 유효한 업데이트 집합을 정의하여, 이 집합 내에 업데이트가 존재할 경우 항상 수렴함을 보장한다.
• 지식 기반 솔루션을 사용한 지도 학습을 통해 깊은 신경망을 사용해 이 유효한 집합에서 최적의 업데이트를 선택한다.
• 수렴을 보장하면서 성능을 향상시키기 위해 학습된 편차의 크기를 제어하기 위해 정규화 제약(식 37)을 도입한다.
• 스pars티 프로모팅 정규화를 포함한 비미분가능 최적화 문제, 특히 CT 영상 복원에 대해 학습된 전진-역행 방법을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝을 사용해 전진-역행 최적화를 가속화하면서도 이론적 수렴 보장을 유지할 수 있는가?
• RQ2 특정 선택에 관계없이 수렴이 보장되도록 유효한 업데이트 공간을 어떻게 정의할 수 있는가?
• RQ3 신경망이 고차원의 수렴 보장 집합에서 최적의 업데이트를 효과적으로 학습하여 FISTA와 같은 전통적 솔버를 능가할 수 있는가?
• RQ4 정규화 매개변수(예: α)는 수렴 속도와 초기 반복 성능에 어떤 영향을 미치는가?
• RQ5 실제 응용 분야인 CT 영상 복원에서 제안된 방법이 FISTA와 ISTA보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 제안된 방법은 최적화의 첫 10회 반복에서 ISTA와 FISTA를 모두 능가하는 성능을 보였다. 특히 초기 수렴 속도에서 두각을 나타냈다.
• α = 0.5로 설정한 학습된 방법이 비미분가능 최적화에서 시험한 정규화 매개변수 중에서 가장 뛰어난 성능을 보였으며, 속도와 수렴성의 균형을 잘 잡았다.
• 식 37에 의해 수행되는 정규화가 10회 반복 이후 성능 향상에 크게 기여했으며, 전역 수렴을 보장했다.
• 학습 과정이 딥러닝 신경망을 통해 이루어졌음에도 불구하고 정확한 해로 수렴함을 확인하여 이론적 수렴 보장을 확인했다.
• 스파arsity 프로모팅 정규화를 포함한 비미분가능 문제에 대해 잘 일반화됨을 확인했다. 특히 컴퓨터 톰로그래피(CT) 복원에서의 스파arsity 프로모팅 정규화에 대해 유사한 성능을 발휘했다.
• 단지 몇 번의 반복만 사용하더라도 전통적 솔버보다 뚜렷한 성능 향상을 이끌어내며 수렴성을 유지한다.