[논문 리뷰] Total Deep Variation: A Stable Regularizer for Inverse Problems

Erich Kobler, Alexander Effland외 2명|arXiv (Cornell University)|2020. 06. 15.

Medical Imaging Techniques and Applications참고 문헌 55인용 수 12

한 줄 요약

이 논문은 깊이 학습 기반의 정규화 기법인 Total Deep Variation(TDV)을 소개한다. 이는 깊이 학습 기반의 컨volution 신경망과 변분 역문제 프레임워크를 결합한 데이터 기반 정규화 기법으로, 깊이 있는 아키텍처를 통해 다중 척도 국소 특징을 학습함으로써 이미지 노이즈 제거, 초해상도 복원, 의료 영상 복원 등에서 최신 기술 수준(SOTA) 성능을 달성한다. 또한 엄밀한 안정성 및 일반화 분석을 가능하게 하며, 좁은 이론적 경계를 제공한다.

ABSTRACT

Various problems in computer vision and medical imaging can be cast as inverse problems. A frequent method for solving inverse problems is the variational approach, which amounts to minimizing an energy composed of a data fidelity term and a regularizer. Classically, handcrafted regularizers are used, which are commonly outperformed by state-of-the-art deep learning approaches. In this work, we combine the variational formulation of inverse problems with deep learning by introducing the data-driven general-purpose total deep variation regularizer. In its core, a convolutional neural network extracts local features on multiple scales and in successive blocks. This combination allows for a rigorous mathematical analysis including an optimal control formulation of the training problem in a mean-field setting and a stability analysis with respect to the initial values and the parameters of the regularizer. In addition, we experimentally verify the robustness against adversarial attacks and numerically derive upper bounds for the generalization error. Finally, we achieve state-of-the-art results for numerous imaging tasks.

연구 동기 및 목표

• 이미지 노이즈 제거 및 초해상도 복원과 같은 역문제에서 전통적인 수작업 정규화 기법을 능가하는 일반 목적의 데이터 기반 정규화 기법을 개발하는 것.
• 딥 러닝을 변분 프레임워크에 통합하면서도 MAP 추론 및 최적 제어 공식화를 통해 해석 가능성 유지하는 것.
• 리프시츠 연속성 및 일반화 오차 경계의 엄밀한 분석을 통해 적대적 공격에 대한 이론적 안정성과 강건성 확보하는 것.
• 재학습 없이도 다양한 선형 역문제(예: CT 및 MRI 복원) 간에 전이 가능하도록 하는 것.
• 정규화 에너지에 대한 분位수 기반 최악의 경우 분석을 통해 일반화 오차에 대한 날카운 경계 상한을 유도하는 것.

제안 방법

• 이미지 패치에서 다중 척도 국소 특징을 추출하여 학습된 정규화 기법을 구성하는 딥 리소지드 네트워크 아키텍처를 설계하며, 현대 CNN 설계 패턴을 기반으로 한다.
• 정규화 기법의 학습을 평균장 설정에서 최적 제어 문제로 공식화함으로써 기울기 기반 최적화와 함께 이론적 수렴 보장을 가능하게 한다.
• 정규화 기법의 행동을 다양한 이미지 구조에서 이해하기 위해 비선형 고유기능 분석을 도입한다.
• 일반화 오차 경계를 위한 최악의 경우 최적화 문제를 해결하기 위해 이차 장벽 방법을 적용하며, 백트래킹을 사용한 네스테로프 가속 기울기 방법을 사용한다.
• 데이터 적합성 항과 TDV 정규화 기법을 조합한 변분 에너지 기능을 구성하고, 학습된 노이즈 제거 연산자를 사용한 프록시 알고리즘을 통해 이를 최소화한다.
• 암시적 미분과 언롤링 기법을 사용해 네트워크를 판별적 방식으로 학습함으로써 생성 전훈보다 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 변분 역문제 프레임워크에 정규화 기법으로 통합될 수 있을까? 이때 수학적 해석 가능성과 안정성은 유지될 수 있는가?
• RQ2 딥 러닝 기반의 역문제에서 적대적 공격에 대한 강건성은 어떻게 이론적으로 분석하고 경계할 수 있는가?
• RQ3 정규화 에너지와 일반화 오차 사이의 관계는 무엇이며, 날카운 상한 경계를 도출할 수 있는가?
• RQ4 한 번 학습된 TDV 정규화 기법이 미세조정 없이도 여러 역문제(예: 노이즈 제거, 초해상도 복원, CT, MRI)에 일반화될 수 있는가?
• RQ5 제안된 방법은 기존의 딥 러닝 기반 솔버에 비해 더 적은 학습 가능한 파rameter로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• TDV는 매우 적은 학습 가능한 파라미터로 이미지 노이즈 제거 및 단일 이미지 초해상도 복원에서 최신 기술 수준의 성능을 달성한다.
• 이론적 안정성 경계가 솔루션 맵의 국소 리프시츠 연속성에서 유도됨에 따라, 적대적 공격에 대해 강력한 강건성을 보여준다.
• 분위수 기반 최악의 경우 분석을 통해 일반화 오차에 대한 상한 경계를 도출하였으며, 이 경계는 정규화 에너지 수준이 높아질수록 약간 증가하는 경향을 보였다.
• 일반화 오차 분석에서 식별된 최악의 경우 진짜 이미지 패치는 고주기 진동 패tern과 셰스키어드 아티팩트를 보이며, 이는 경계의 보수적인 성격을 확인한다.
• 재학습 없이도 도전적인 의료 영상 복원 과제(예: CT 및 MRI 복원)에 효과적으로 일반화되어 전이 가능성의 잠재력을 입증한다.
• 최적 제어 및 평균장 공식화를 통한 이론적 분석을 통해 정규화 기법의 학습 동역학과 수렴 성질에 대한 엄밀한 이해가 가능해졌다.