[논문 리뷰] On the Convergence of Learning-based Iterative Methods for Nonconvex Inverse Problems

Risheng Liu, Shichao Cheng외 4명|arXiv (Cornell University)|2018. 08. 16.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 3

한 줄 요약

이 논문은 비볼록 역문제에서 기반 학습 반복 방법을 위한 증명 가능하게 전역 수렴하는 프레임워크인 유연한 반복 모듈화 알고리즘(Flexible Iterative Modularization Algorithm, FIMA)을 제안한다. 쿠르다카-로자예브스키(Kurdyka-Łojasiewicz, KŁ) 성질 하에서 이식 가능한 모듈과 이론적 수렴 보장을 통합함으로써, FIMA는 임계점으로의 수렴을 보장하면서도 데이터 적응형 최적화를 가능하게 하여 실제 응용에서 기존의 방법들과 딥러닝 기반 방법들을 능가한다.

ABSTRACT

Numerous tasks at the core of statistics, learning and vision areas are specific cases of ill-posed inverse problems. Recently, learning-based (e.g., deep) iterative methods have been empirically shown to be useful for these problems. Nevertheless, integrating learnable structures into iterations is still a laborious process, which can only be guided by intuitions or empirical insights. Moreover, there is a lack of rigorous analysis about the convergence behaviors of these reimplemented iterations, and thus the significance of such methods is a little bit vague. This paper moves beyond these limits and proposes Flexible Iterative Modularization Algorithm (FIMA), a generic and provable paradigm for nonconvex inverse problems. Our theoretical analysis reveals that FIMA allows us to generate globally convergent trajectories for learning-based iterative methods. Meanwhile, the devised scheduling policies on flexible modules should also be beneficial for classical numerical methods in the nonconvex scenario. Extensive experiments on real applications verify the superiority of FIMA.

연구 동기 및 목표

• 학습 기반 반복 방법이 비볼록 역문제에 대해 이론적 수렴 보장을 갖추지 못하는 문제를 해결하기 위해.
• 고정된 수작업 설계된 업데이트 규칙을 사용하는 전통적 해법의 한계를 극복하여 데이터에 특화된 구조를 활용하지 못하는 문제를 해결하기 위해.
• 학습 가능한 구성 요소를 허용하면서도 전역 수렴을 유지하는 일반화된 모듈형 프레임워크를 개발하기 위해.
• 부드럽고 비부드러운 항목을 모두 포함하는 비볼록 설정에서 반복 방법의 수렴을 통합적으로 분석하기 위해.
• 시각 및 학습 분야의 실제 역문제에서 제안된 방법의 실용적 슈퍼리오리티를 입증하기 위해.

제안 방법

• 최적화 문제를 순차적이고 학습 가능한 부분문제로 분해하는 FIMA라는 믹서블 반복 모듈화 프레임워크를 제안한다.
• 쿠르다카-로자예브스키(Kurdyka-Łojasiewicz, KŁ) 조건 하에서 수렴을 보장하는 모듈 구성 요소의 스케줄링 정책을 도입한다.
• 각 변수를 순차적으로 업데이트하는 블록 반복 업데이트 전략을 사용하며, 학습 가능한 매개변수를 활용한 프록시 유사 단계를 적용한다.
• 목적 함수의 감소를 분석하고 반복 수열이 코시 수열임을 보여줌으로써 수렴 보장을 도출한다.
• KŁ 성질을 사용하여 수렴 속도를 확립하고, 수렴 수열이 임계점으로 전역 수렴함을 증명한다.
• 데이터 적합성 항목 f와 사전 항목 g가 모두 비볼록일 수 있는 비볼록 문제에 프레임워크를 적용하며, f는 연속 미분 가능하고 g는 비부드럽다.

실험 결과

연구 질문

• RQ1 비볼록 역문제에 대해 증명 가능하게 전역 수렴하는 학습 기반 반복 방법을 설계할 수 있는가?
• RQ2 이론적 수렴 보장을 유지하면서 학습 가능한 모듈을 반복 해법에 통합할 수 있는가?
• RQ3 비볼록 설정에서 이러한 하이브리드 학습-최적화 기법의 수렴을 보장하는 이론적 조건은 무엇인가?
• RQ4 제안된 프레임워크는 기존의 전통적 방법이나 엔드 투 엔드 딥러닝 방법에 비해 실제 역문제에서 성능을 향상시킬 수 있는가?
• RQ5 쿠르다카-로자예브스키(Kurdyka-Łojasiewicz, KŁ) 성질 하에서 제안된 방법의 수렴 속도는 어떻게 확립할 수 있는가?

주요 결과

• FIMA는 쿠르다카-로자예브스키(Kurdyka-Łojasiewicz, KŁ) 성질 하에서 목적 함수의 임계점으로 반복 수렴을 보장한다.
• FIMA가 생성한 반복 수열은 코시 수열이므로 정적점으로 수렴함을 의미한다.
• 동일한 KŁ 가정 하에서 고전적 프록시 스킴의 수렴 속도와 일치하는 수렴 속도를 확립한다.
• 실험 결과로 FIMA가 실제 역문제에서 기존의 반복 해법과 엔드 투 엔드 딥러닝 기반 기준보다 뛰어난 성능을 보였다.
• f가 연속 미분 가능하고 g가 비부드러운 한, f와 g가 모두 비볼록일 경우에도 수렴 분석이 성립한다.
• 프레임워크는 믹서블이고 데이터 적응형 모듈 스케줄링을 허용하여 고정 구조 해법보다 더 뛰어난 성능을 달성할 수 있다.