[논문 리뷰] Toward Designing Convergent Deep Operator Splitting Methods for Task-specific Nonconvex Optimization

Risheng Liu, Shichao Cheng외 3명|arXiv (Cornell University)|2018. 04. 28.

Sparse and Compressive Sensing Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 학습 가능한 브레그만 분할(LBS)을 제안한다. LBS는 작업에 특화된 비볼록 최적화를 위해 기존의 연산자 분할 방법에 학습 가능한 신경망을 통합하는 딥 연산자 분할 프레임워크이다. 브레그만 거리 기반 반복적 프로세스 내에서 데이터 기반 업데이트를 활용함으로써 LBS는 전역 수렴성과 더 빠른 수렴 속도를 보장하면서도 임의의 해나 자명한 해를 피하며, 이미지 흐림 제거 및 복원 작업에서 최신 기술들을 능가한다.

ABSTRACT

Operator splitting methods have been successfully used in computational sciences, statistics, learning and vision areas to reduce complex problems into a series of simpler subproblems. However, prevalent splitting schemes are mostly established only based on the mathematical properties of some general optimization models. So it is a laborious process and often requires many iterations of ideation and validation to obtain practical and task-specific optimal solutions, especially for nonconvex problems in real-world scenarios. To break through the above limits, we introduce a new algorithmic framework, called Learnable Bregman Splitting (LBS), to perform deep-architecture-based operator splitting for nonconvex optimization based on specific task model. Thanks to the data-dependent (i.e., learnable) nature, our LBS can not only speed up the convergence, but also avoid unwanted trivial solutions for real-world tasks. Though with inexact deep iterations, we can still establish the global convergence and estimate the asymptotic convergence rate of LBS only by enforcing some fairly loose assumptions. Extensive experiments on different applications (e.g., image completion and deblurring) verify our theoretical results and show the superiority of LBS against existing methods.

연구 동기 및 목표

• 고정된 업데이트 규칙이 안장점이나 자명한 해를 피하지 못하는 비볼록이며 실제 응용 분야의 최적화 과제에서 전통적인 연산자 분할 방법의 한계를 해결하기 위해.
• 이론적으로 수렴하는 최적화 기법과 수렴 보장을 갖지 못하는 데이터 기반 딥 러닝 방법 사이의 격차를 메우기 위해.
• 이론적 수렴성을 유지하면서도 딥 아키텍처를 통해 데이터 패턴에 적응하는 학습 가능한, 작업에 특화된 연산자 분할 프레임워크를 개발하기 위해.
• 모델 기반 및 데이터 기반 연산자를 융합하여 이미지 복원 과제(예: 흐림 제거 및 복원)에서 더 빠른 수렴과 향상된 해 품질을 달성하기 위해.

제안 방법

• LBS는 각 반복 단계에서 변수에 대한 벌점으로 브레그만 거리 기반의 완화를 도입하여 안정성과 수렴성을 보장한다.
• 이론적 수렴성을 유지하기 위해, 모델 기반 및 데이터 기반 구성 요소의 업데이트 규칙을 통합하는 유연한 크라스노셀스키-만 반복 프레임워크를 적용한다.
• 새로운 삼중 연산자 분할 전략이 하나의 최적화 루프 내에서 작업에 특화된 정규화, 데이터 의존성 신경망, 그리고 프록시멀 연산자를 통합한다.
• 약한 가정 하에 전역 수렴 보장을 유지하면서도, 정확한 반복이 아닌 깊이 학습 반복을 허용한다.
• 다중 변수를 포함하는 블록 구조 비볼록 최적화 문제로 재구성함으로써, 이미지 복원 문제에 알고리즘을 적용한다.
• 실제 데이터를 사용한 엔드 투 엔드 훈련을 지원함으로써, 네트워크가 특정 작업에 최적화된 반복 역학을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에 대해 데이터 기반 학습을 통합하면서도 전역 수렴성을 유지할 수 있는 딥 연산자 분할 프레임워크를 설계할 수 있는가?
• RQ2 기존의 연산자 분할 기법에 학습 가능한 구성 요소를 통합할 수 있는가? 이때 이론적 수렴 보장이 유지되어야 한다.
• RQ3 제안된 방법은 이미지 복원 과제에서 정량적 지표와 정성적 결과 모두에서 기존의 학습 기반 최적화 알고리즘을 능가할 수 있는가?
• RQ4 데이터 의존적 학습은 비볼록 문제에서 자명하거나 부분 최적 해를 피하는 데 어떤 영향을 미치는가?

주요 결과

• Sun 등이 제시한 벤치마크에서 LBS는 PSNR 32.90과 SSIM 0.90을 기록하여, IRCNN, FDN, PADNet를 포함한 모든 비교 방법들을 능가했다.
• 정성적 흐림 제거 결과에서, LBS는 다른 방법들보다 더 선명하게 텍스트나 창 가장자리 같은 미세한 디테일을 복원했으며, PSNR가 더 높은 방법들조차도 LBS에 열등했다.
• LBS의 모든 블록에서 반복 오차가 급격히 감소했으며, 이미지 변수의 재구성 오차는 log(10^-4) 이하로 떨어졌다.
• 반복 곡선을 통해 LBS는 모든 블록에서 변수 오차와 재구성 오차가 안정적으로 감소하는 것을 보였으며, 수렴성이 뚜렷하게 확보되었다.
• 정확한 깊이 반복을 사용하지 않음에도 불구하고, LBS는 전역 수렴성을 유지했으며, 약한 가정 하에 점근적 수렴 속도 추정치를 제공했다.
• 데이터 의존적 학습 메커니즘 덕분에, LBS는 이미지 복원 및 흐림 제거 과제에서 원하지 않는 자명한 해를 성공적으로 피했다.