[논문 리뷰] Understanding Geometry of Encoder-Decoder CNNs

Jong Chul Ye, Woon Kyoung Sung|arXiv (Cornell University)|2019. 01. 22.

Neural Networks and Applications인용 수 23

한 줄 요약

이 논문은 조합적 컨volution 프레임을 사용하여 인코더-디코더 CNN을 비선형 프레임 표현과 통합하는 통합 이론적 프레임워크를 제안하며, 깊이에 따라 지수적 표현력을 갖는다는 것을 드러낸다. 이는 스케터드 커넥션(스킵 연결)이 최적화 경로의 매끄러움과 일반화 능력을 향상시킨다는 것을 보여주며, 리프시츠 상수가 표현력에 제약를 둔다는 것은 아니며, 이러한 네트워크가 MRI 및 CT 재구성과 같은 역문제에서 뛰어난 성능을 내는 이유에 대한 기하학적 통찰을 제공한다.

ABSTRACT

Encoder-decoder networks using convolutional neural network (CNN) architecture have been extensively used in deep learning literatures thanks to its excellent performance for various inverse problems. However, it is still difficult to obtain coherent geometric view why such an architecture gives the desired performance. Inspired by recent theoretical understanding on generalizability, expressivity and optimization landscape of neural networks, as well as the theory of convolutional framelets, here we provide a unified theoretical framework that leads to a better understanding of geometry of encoder-decoder CNNs. Our unified mathematical framework shows that encoder-decoder CNN architecture is closely related to nonlinear basis representation using combinatorial convolution frames, whose expressibility increases exponentially with the network depth. We also demonstrate the importance of skipped connection in terms of expressibility, and optimization landscape.

연구 동기 및 목표

• 인코더-디코더 CNN이 MRI 및 CT 재구성과 같은 역문제에서 강력한 성능을 내는 이유를 기하학적으로 이해하는 것.
• 딥 러닝 이론을 신호 처리와 융합하여, 인코더-디코더 네트워크를 조합적 공간적으로 변하는 컨볼루션을 갖는 깊이 있는 컨볼루션 프레임릿으로 프레임화하는 것.
• 미분 위상수학과 프레임 이론의 이론적 도구를 사용하여 이러한 네트워크의 표현력, 일반화 능력 및 최적화 경로를 분석하는 것.
• 특히 ReLU 비선형성 하에서 스킵 연결이 최적화 경로와 표현력 향상에 미치는 결정적 역할을 입증하는 것.
• ReLU 기반 아키텍처에서의 지수적 표현력의 기원을 조합적 프레임 선택과 연결하여 깊은 네트워크의 표현력에 대한 신비를 풀어내는 것.

제안 방법

• 미분 위상수학에 기반하여, 인코더-디코더 CNN을 고차원 임bedding과 매끄러운 다양체 간의 몫 사상으로 공식화하는 것.
• ReLU 기반 공간적으로 변하는 컨볼루션에서 유도된 조합적 프레임을 사용하여 네트워크를 깊이 있는 컨볼루션 프레임릿으로 모델링하는 것.
• 일반화를 위한 명시적 리프시츠 조건을 유도하며, 이는 리프시츠 상수와 독립적이며, 일반화 능력이 이 조건에 의해 제약을 받지 않음을 보여주는 것.
• 스킵 연결이 있는 ReLU 활성화 네트워크에 대해 새로운 자코비안 기반 분석을 도입하여, 손실이 0이 되는 것은 예측이 진짜값과 정확히 일치할 때에만 가능하다는 것을 증명하는 것.
• 특징 행렬과 중간 표현의 질량 조건을 통해 유리한 최적화 경로 조건을 수립하는 것.
• 이전의 분석적 네트워크 분석에서의 가정을 완화하여, 스킵 연결이 있는 ReLU 기반 인코더-디코더 네트워크로 이전 결과를 확장하는 것.

실험 결과

연구 질문

• RQ1 인코더-디코더 CNN의 아키텍처는 신호 표현 및 재구성과 기하학적으로 어떻게 관련되어 있는가?
• RQ2 깊은 인코더-디코더 네트워크에서 관찰된 지수적 표현력의 근원은 무엇인가?
• RQ3 왜 스킵 연결이 ReLU 기반 인코더-디코더 네트워크에서 최적화 경로를 크게 향상시키는가?
• RQ4 이 네트워크에서 일반화 능력을 리프시츠 제어와 분리시킬 수 있는가?
• RQ5 인코더-디코더 CNN의 최적화 경로가 어떻게 안정적인 상태가 되는가?

주요 결과

• 과도하게 파rameter화된 특징을 갖는 인코더-디코더 CNN은 고차원 임bedding과 매끄러운 다양체 간의 몫 사상으로 다각도적인 맵을 근사한다.
• ReLU 기반 컨볼루션 레이어에서의 조합적 프레임 선택으로 인해 깊이에 따라 네트워크의 표현력이 지수적으로 증가한다.
• 리프시츠 상수가 표현력을 제한하지 않으며, 일반화 능력 역시 리프시츠 정규화에 의해 제어되지 않는다.
• 스킵 연결은 중간 특징 행렬의 전체 행 랭크를 유지함으로써 안정적인 최적화 경로를 보장하며, 이는 예측이 참값과 정확히 일치할 때에만 손실이 0이 되도록 한다.
• 이론적 분석은 스킵 연결이 ReLU 비선형성 하에서도 최적화 경로를 매끄럽게 한다는 것을 확인하며, 이전 연구에 비해 더 완화된 가정을 사용한다.
• MRI 및 초음파 영상에서의 실증적 검증은 이론적 프레임워크를 지지하며, 도메인 특화 프레임 표현(예: k-스페이스 또는 원시 데이터)이 모델 설계를 향상시킨다는 것을 보여준다.