[논문 리뷰] Translating Diffusion, Wavelets, and Regularisation into Residual Networks

Tobias Alt, Joachim Weickert외 1명|arXiv (Cornell University)|2020. 02. 07.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 비선형 확산, 웨이브렛 수축, 변분 정규화와 같은 고전적 노이즈 제거 방법을 이산 수치 해법이 특정 ResNet 블록으로 해석될 수 있도록 이론적 프레임워크를 수립한다. 주요 기여는 밀도 함수, 수축 함수, 정규화 함수를 활성화 함수로 매핑하는 사전를 제공함으로써, 임의의 깊이의 내재적으로 안정적인 ResNet을 가능하게 하며, 이는 단조성과 비대칭성을 띤 활성화 함수를 포함하여 PDE, 웨이브렛, 딥 러닝 공동체 간의 다리 역할을 하며, 증명 가능한 안정성 보장을 제공한다.

ABSTRACT

Convolutional neural networks (CNNs) often perform well, but their stability is poorly understood. To address this problem, we consider the simple prototypical problem of signal denoising, where classical approaches such as nonlinear diffusion, wavelet-based methods and regularisation offer provable stability guarantees. To transfer such guarantees to CNNs, we interpret numerical approximations of these classical methods as a specific residual network (ResNet) architecture. This leads to a dictionary which allows to translate diffusivities, shrinkage functions, and regularisers into activation functions, and enables a direct communication between the four research communities. On the CNN side, it does not only inspire new families of nonmonotone activation functions, but also introduces intrinsically stable architectures for an arbitrary number of layers.

연구 동기 및 목표

• 고전적 신호 노이즈 제거 방법과 잔차 신경망 간의 엄밀한 수학적 연결을 수립하기 위해.
• 현대 CNN에서 이론적 안정성 이해의 부족을 보완하기 위해 잘 알려진 방법들로부터 증명 가능한 안정성 보장을 이전하기 위해.
• 밀도 함수, 수축 함수, 정규화 함수를 활성화 함수로 매핑하는 통합 사전를 만들어 PDE, 웨이브렛, 변분 방법, 딥 러닝 공동체 간의 소통을 가능하게 하기 위해.
• 비단조성 및 비대칭 활성화 함수의 가능성에 대한 전통적인 CNN 설계 원칙을 도전하기 위해.
• 경험적 튜닝이 아닌 원리적인 설계를 통해 새로운 컴팩트하고 안정적인 CNN 아키텍처를 창출하기 위해.

제안 방법

• 페로나–말릭 확산, 허어 웨이브렛 수축, 일阶 변분 모델의 이산 수치 근사가 고정된 컨볼루션 커널을 갖는 특정 잔차 신경망 블록으로 재구성된다.
• 이 ResNet 블록의 활성화 함수는 확산 필터의 플럭스 함수, 웨이브렛의 수축 함수, 정규화 함수의 하위기울기에서 직접 유도된다.
• 비선형 확산, 웨이브렛 기반 수축, 변분 정규화의 세 가지 유형의 고전적 노이즈 제거 방법이 통일된 수학적 공식을 사용해 등가의 ResNet 구성 요소로 매핑된다.
• 원래 노이즈 제거 알고리즘의 안정성 특성을 그대로 이어받기 때문에, 스택된 블록의 수에 관계없이 내재적 안정성이 보장된다.
• 이산 설정에서 비단조성 및 비대칭 활성화 함수가 수학적으로 잘 정의되어 있음을 보여줌으로써, 이러한 함수의 사용이 가능해진다.
• 학습된 컨볼루션 가중치를 피하고, 기존 수학 모델에 기반한 활성화 함수 설계에 집중한다.

실험 결과

연구 질문

• RQ1 비선형 확산, 웨이브렛 수축, 변분 정규화와 같은 고전적 노이즈 제거 방법을 잔차 신경망 아키텍처로 체계적으로 번역할 수 있는가?
• RQ2 이러한 방법에서 파생된 비단조성 및 비대칭 활성화 함수가 깊은 신경망에서 안정성을 유지하는가?
• RQ3 PDE 기반 및 변분 노이즈 제거 방법의 이산 표현 방식이 증명 가능한 안정성을 갖는 ResNet 블록으로 해석될 수 있는가?
• RQ4 비단조성 활성화 함수를 딥 러닝에서 사용할 수 있는 이론적 근거는 무엇이며, 역사적으로 무시된 이유는 무엇인가?
• RQ5 PDE, 웨이브렛, 변분 방법, 딥 러닝의 네 공동체가 신경망 설계에서 공통된 수학적 언어로 통합될 수 있는가?

주요 결과

• 페로나–말릭 확산, 허어 웨이브렛 수축, 일阶 변분 모델의 이산 스킴은 모두 고정된 컨볼루션 커널과 유도된 활성화 함수를 갖는 특정 ResNet 블록으로 표현 가능하다.
• 이러한 블록들로 구성된 ResNets는 원래 노이즈 제거 방법의 안정성을 그대로 이어받아, 레이어 수에 관계없이 잘 정의되고 강건한 성질을 갖는다.
• 가로프트 수축 및 하드 스레시홀딩에서 유도된 비단조성 활성화 함수는 이산 ResNet 프레임워크 내에서 수학적으로 타당하고 안정적이며, 딥 러닝에서 단조성의 지배적 위치에 도전한다.
• 비대칭 활성화 함수는 이론적 구성에서 자연스럽게 도출되며, 기존의 현대 CNN에서 거의 탐색되지 않은 새로운 아키텍처 가능성을 제공한다.
• 이 프레임워크는 PDE, 웨이브렛, 변분 공동체의 연구자들이 직접 자신의 방법을 신경망 구성 요소로 변환할 수 있도록 사전를 제공한다.
• 비볼록 정규화 함수와 비단조성 플럭스 함수도 적절히 이산화되면 안정성이 손상되지 않음을 보여주며, 아키텍처 설계의 새로운 길을 열어준다.