[논문 리뷰] Proximal Alternating Direction Network: A Globally Converged Deep Unrolling Framework

Risheng Liu, Xin Fan외 3명|arXiv (Cornell University)|2017. 11. 21.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 11

한 줄 요약

이 논문은 변분 에너지 함수의 임계점으로의 전역 수렴을 보장하는 프록시멀 교차 방향 방법 네트워크(PADNet)를 제안한다. 이는 프록시멀 최적화와 학습 가능한 아키텍처를 통합한 딥 언롤링 프레임워크로, 히우리스틱 딥 네트워크와는 달리 온건한 조건 하에 이론적으로 수렴을 보장하면서도, 효율적인 신경 모듈을 타당하게 통합할 수 있다. 특히 과제 사전 지식이 부분적으로만 제공될 경우에도 적용 가능하다.

ABSTRACT

Deep learning models have gained great success in many real-world applications. However, most existing networks are typically designed in heuristic manners, thus lack of rigorous mathematical principles and derivations. Several recent studies build deep structures by unrolling a particular optimization model that involves task information. Unfortunately, due to the dynamic nature of network parameters, their resultant deep propagation networks do \emph{not} possess the nice convergence property as the original optimization scheme does. This paper provides a novel proximal unrolling framework to establish deep models by integrating experimentally verified network architectures and rich cues of the tasks. More importantly, we \emph{prove in theory} that 1) the propagation generated by our unrolled deep model globally converges to a critical-point of a given variational energy, and 2) the proposed framework is still able to learn priors from training data to generate a convergent propagation even when task information is only partially available. Indeed, these theoretical results are the best we can ask for, unless stronger assumptions are enforced. Extensive experiments on various real-world applications verify the theoretical convergence and demonstrate the effectiveness of designed deep models.

연구 동기 및 목표

• 역문제에 사용되는 히우리스틱 딥 러닝 모델의 이론적 수렴 보장 부족 문제를 해결하기 위해.
• 최적화 알고리즘의 수렴 성질을 유지하면서도, 유연하고 경험적으로 효과적인 신경 모듈을 허용하는 딥 네트워크 아키텍처를 개발하기 위해.
• 최적화 공식화에서 부분적인 과제 정보(예: 부분적 사전 지식)만 제공될 경우에도 수렴을 보장하기 위해.
• 각종 최적화 기반 딥 네트워크를 하나의 이론적으로 탄탄한 프레임워크로 통합하여, 충성도 및 정규화 항의 구체적 형태에 민감하지 않게 만들기 위해.

제안 방법

• 일반적인 변분 에너지 최소화 문제에 적용된 프록시멀 교차 방향 방법의 다중 승수법(ADMM) 스킴을 언롤링하는 프레임워크를 제안한다.
• 기존 최적화 모델의 구조와 기울기 가능 신경 모듈을 결합한 학습 가능한 프록시멀 연산자를 도입한다.
• 변수 분할을 통해 충성도 항과 정규화 항을 분리하는 3블록 ADMM 설정을 사용하여 모듈식 설계를 가능하게 한다.
• 프록시멀 ADMM의 반복 단계를 언롤링하여 네트워크 아키텍처를 구성하며, 각 레이어는 하나의 반복 단계에 해당하고 학습 가능한 파라미터를 가진다.
• 리아푸노프 유사 분석을 통해 수렴성을 증명하며, 반복 수열이 온건한 가정(예: 준대수적 에너지 함수 포함) 하에 임계점으로 수렴함을 보여준다.
• 유한성과 리프시츠 조건을 만족하는 한, 표준 딥 러닝 구성 요소(예: ReLU, BatchNorm)를 이론적 수렴 보장 하에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 학습된 네트워크 파라미터를 가질 때조차도 변분 에너지 함수의 임계점으로의 전역 수렴을 보장할 수 있는 딥 언롤링 프레임워크를 설계할 수 있는가?
• RQ2 이론적 수렴 성질을 유지하면서도, 경험적으로 성공한 다양한 딥 아키텍처를 최적화 기반 딥 네트워크에 통합하는 방법은 무엇인가?
• RQ3 학습 중에 부분적인 과제 정보(예: 부분적 사전 지식)만 제공될 경우에도 수렴이 보장되는가?
• RQ4 에너지 함수의 충성도 항 및 정규화 항의 구체적 함수 형태에 민감하지 않은 프레임워크를 만들 수 있는가?

주요 결과

• 제안된 PADNet는 준대수적 함수에 대해 쿠르다카-로자예브스키 성질을 포함한 온건한 가정 하에 변분 에너지 함수의 임계점으로의 전역 수렴을 보장한다.
• PADNet가 생성하는 네트워크 출력의 수열은 코시 수열을 이룬다. 이는 동적이고 학습 가능한 파rameter를 가진 상태에서도 고정점으로 수렴함을 보장한다.
• 정규화 항이 알려지지 않았거나 부분적으로만 기술된 경우에도 프레임워크는 수렴성을 유지하며, 데이터 기반 학습과 함께 이론적 보장을 유지할 수 있다.
• 실세계 응용에 대한 광범위한 실험을 통해 이론적 수렴성과 최신 기술 수준의 성능을 동시에 입증하여 프레임워크의 효과성을 검증하였다.
• 이론적 분석을 통해 ReLU 및 BatchNorm과 같은 표준 딥 러닝 구성 요소를 통합할 경우, 이들이 유한성과 리프시츠 조건을 만족한다면 수렴성이 유지됨을 보였다.