[논문 리뷰] Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems

Jong Chul Ye, Yoseob Han외 1명|arXiv (Cornell University)|2017. 07. 03.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 다층 컨volution 프레임릿과 ReLU 활성화를 사용하여 완벽한 복원을 달성하는 새로운 딥러닝 프레임워크인 딥 컨volution 프레임릿을 소개한다. 이 프레임워크는 다층 컨볼루션 프레임릿과 ReLU 활성화를 통해 고전적 신호 처리 이론과 딥러닝을 통합하여 완벽한 복원을 달성한다. 이 프레임워크는 잔차 블록, 다중 필터 채널, CReLU 레이어가 완벽한 복원을 가능하게 하며, 풀링 레이어는 이 성질을 유지하기 위해 고역통과 지점이 필요하다. 이는 역문제 네트워크의 이론적으로 탄탄한 설계를 제공한다.

ABSTRACT

Recently, deep learning approaches with various network architectures have achieved significant performance improvement over existing iterative reconstruction methods in various imaging problems. However, it is still unclear why these deep learning architectures work for specific inverse problems. To address these issues, here we show that the long-searched-for missing link is the convolution framelets for representing a signal by convolving local and non-local bases. The convolution framelets was originally developed to generalize the theory of low-rank Hankel matrix approaches for inverse problems, and this paper further extends the idea so that we can obtain a deep neural network using multilayer convolution framelets with perfect reconstruction (PR) under rectilinear linear unit nonlinearity (ReLU). Our analysis also shows that the popular deep network components such as residual block, redundant filter channels, and concatenated ReLU (CReLU) do indeed help to achieve the PR, while the pooling and unpooling layers should be augmented with high-pass branches to meet the PR condition. Moreover, by changing the number of filter channels and bias, we can control the shrinkage behaviors of the neural network. This discovery leads us to propose a novel theory for deep convolutional framelets neural network. Using numerical experiments with various inverse problems, we demonstrated that our deep convolution framelets network shows consistent improvement over existing deep architectures.This discovery suggests that the success of deep learning is not from a magical power of a black-box, but rather comes from the power of a novel signal representation using non-local basis combined with data-driven local basis, which is indeed a natural extension of classical signal processing theory.

연구 동기 및 목표

• 딥러닝과 고전적 신호 처리 이론 간의 이론적 연결 고리를 역문제에 대해 규명하는 것.
• 특정 딥러닝 구성 요소(예: 잔차 블록, CReLU)가 역문제에서 완벽한 복원을 가능하게 하는 이유를 설명하는 것.
• 프레임릿 이론과 딥 네트워크를 통합하여 개선된 역문제 해결을 위한 일반적인 딥러닝 프레임워크를 개발하는 것.
• 기존 아키텍처의 한계를 드러내고 신호 표현 이론 기반의 설계 원칙을 제공하는 것.

제안 방법

• 특정 조건 하에서 완벽한 복원(PR)을 달성하기 위해 ReLU 활성화를 사용하는 다층 컨볼루션 프레임릿 네트워크를 제안한다.
• ReLU와 CReLU 연산을 사용해 특징 맵을 양성과 음성 부분으로 분해함으로써 완벽한 복원 조건을 유도한다.
• 필터 범프와 편향을 원래 신호를 정확히 복원할 수 있도록 설계한 대칭적 인코딩-디코딩 구조를 도입한다.
• 하켄 매트릭스 기반의 프레임릿을 기반으로 저질서 행렬 접근법을 딥러닝 프레임워크로 일반화한다.
• 잔차 블록과 다중 필터 채널이 완벽한 복원을 달성하는 데 필수적임을 입증한다.
• 풀링 레이어는 고역통과 지점을 보완함으로써 완벽한 복원 성질을 유지해야 함을 드러낸다.

실험 결과

연구 질문

• RQ1 이론적 기반 없이도 일부 딥러닝 아키텍처가 역문제에서 뛰어난 성능을 내는 이유는 무엇인가?
• RQ2 딥 컨볼루션 네트워크에서 완벽한 복원을 가능하게 하는 수학적 메커니즘은 무엇인가?
• RQ3 잔차 블록과 CReLU와 같은 표준 구성 요소가 역문제에서 완벽한 복원에 기여하는 방식은 무엇인가?
• RQ4 풀링 및 언풀링 레이어는 수정 없이 일반적으로 완벽한 복원을 달성하지 못하는 이유는 무엇인가?
• RQ5 고전적 신호 처리 이론(예: 프레임릿, 압축 측정)을 어떻게 딥러닝과 통합하여 역문제에 적용할 수 있는가?

주요 결과

• 제안된 딥 컨볼루션 프레임릿 네트워크는 필터 범프와 편향이 특정 대칭 조건을 만족할 경우 ReLU 활성화를 통해 완벽한 복원을 달성한다.
• 잔차 블록, 다중 필터 채널, CReLU 레이어는 완벽한 복원을 위해 수학적으로 필수적이며, 이는 그들의 경험적 성공을 설명한다.
• 풀링 레이어는 고역통과 지점을 보완하지 않으면 완벽한 복원을 보장하지 못하며, 이는 핵심적인 설계 통찰이다.
• 이 프레임워크는 딥러닝의 성공이 비국소적 기반과 데이터 기반 국소 기반의 조합이라는 새로운 신호 표현 방식에서 기인함을 드러낸다.
• 수치 실험 결과, 저선량 CT와 압축 측정 MRI와 같은 다양한 역문제에서 기존 딥 아키텍처보다 일관된 성능 향상을 보였다.
• 이론은 원칙적인 설계 프레임워크를 제공하며, 딥러닝의 힘이 블랙박스 학습에서 비롯되는 것이 아니라 고전적 신호 처리의 자연스러운 연장선임을 보여준다.