[논문 리뷰] MVC-Net: A Convolutional Neural Network Architecture for Manifold-Valued Images With Applications

Jose Bouza, Chun-Hao Yang외 2명|arXiv (Cornell University)|2020. 03. 02.

Advanced Neuroimaging Techniques and Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 각 픽셀이 리만 다양체 위에 있는 다각형 이미지에 대해, 접선 공간 조합을 사용하여 기존의 컨볼루션 연산을 일반화한, 새로운 컨volutional 신경망 아키텍처인 MVC-Net을 제안한다. 이를 통해 등장성 군의 동변성과 접선 ReLU(tReLU) 활성화 함수를 통한 다층 네트워크를 실현하였으며, 의료 영상 및 컴퓨터 비전 과제에서 최고의 정확도와 효율성을 달성하였다.

ABSTRACT

Geometric deep learning has attracted significant attention in recent years, in part due to the availability of exotic data types for which traditional neural network architectures are not well suited. Our goal in this paper is to generalize convolutional neural networks (CNN) to the manifold-valued image case which arises commonly in medical imaging and computer vision applications. Explicitly, the input data to the network is an image where each pixel value is a sample from a Riemannian manifold. To achieve this goal, we must generalize the basic building block of traditional CNN architectures, namely, the weighted combinations operation. To this end, we develop a tangent space combination operation which is used to define a convolution operation on manifold-valued images that we call, the Manifold-Valued Convolution (MVC). We prove theoretical properties of the MVC operation, including equivariance to the action of the isometry group admitted by the manifold and characterizing when compositions of MVC layers collapse to a single layer. We present a detailed description of how to use MVC layers to build full, multi-layer neural networks that operate on manifold-valued images, which we call the MVC-net. Further, we empirically demonstrate superior performance of the MVC-nets in medical imaging and computer vision tasks.

연구 동기 및 목표

• 리만 다양체 위에 존재하는 데이터, 특히 의료 영상 및 컴퓨터 비전 분야에서 일반적이고 기하학적 인식이 가능한 딥러닝 프레임워크의 부족을 해결하기 위해.
• 기존의 벡터 공간 연산에 적합하지 않은 리만 다양체 기반 이미지에 대해 표준 컨볼루션 연산을 일반화하기 위해.
• 리만 다양체의 내재 기하학을 존중하는 이론적으로 탄탄한 등장성 군 기반의 컨볼루션 메커니즘을 개발하기 위해.
• 새로운 접선 공간 기반 가중 조합 연산을 통해 리만 다양체 기반 데이터에 대한 다층 딥 네트워크를 가능하게 하기 위해.
• 실세계 분류 과제에서의 경험적 평가를 통해 MVC-Net의 유효성을 입증하고, 더 높은 정확도와 효율성을 보여주기 위해.

제안 방법

• 핵심 기여는 접선 공간 조합 연산을 통해 정의된 다각형 기반 컨볼루션(MVC)으로, 선형 가중 조합을 리만 다양체로 일반화한다.
• MVC 연산은 다각형 기반 입력을 기준점의 접선 공간으로 매핑하고, 접선 공간에서 선형 조합을 수행한 후 지수 사상으로 다시 다양체로 복원함으로써 구성된다.
• 이 방법은 다양체의 등장성 군 작용에 대해 MVC가 동변성을 보임을 증명하며, 기존 CNN의 핵심 불변성 성질을 유지한다.
• 깊이 있는 MVC-Net을 가능하게 하기 위해 접선 공간에서 작동하고 다양체로 다시 투영하는 새로운 비선형 활성화 함수인 접선 ReLU(tReLU)를 제안한다.
• 기존 연구에서 유도된 다각형 기반 완전 연결(MVFC) 레이어와 표준 유클리드 기반 완전 연결 레이어 및 소프트맥스를 통합하여 아키텍처를 구성한다.
• 표준 최적화(Adam)와 교차 엔트로피 손실을 사용하여 네트워크를 훈련시키며, 영상 및 의료 영상 벤치마크에서 10겹 교차 검증을 통해 평가한다.

실험 결과

연구 질문

• RQ1 기하학적 불변성을 유지하면서 깊이를 허용하는 일반적인 컨볼루션 신경망을 다각형 기반 이미지에 대해 설계할 수 있는가?
• RQ2 표준 컨볼루션 연산을 리만 다양체로 일반화할 수 있는가? 이때 등장성과 같은 핵심 성질을 유지할 수 있는가?
• RQ3 다각형 기반 특징에 대해 효과적이고 미분 가능한 활성화 함수는 무엇인가? 이는 깊은 네트워크에서 비선형성을 가능하게 하는가?
• RQ4 실세계 응용에서 기존 방법에 비해 MVC-Net이 다각형 기반 데이터에서 더 뛰어난 성능을 보일 수 있는가?
• RQ5 MVC 레이어의 조합이 단일 레이어로 붕괴되는 조건은 무엇이며, 실무에서 이를 방지할 수 있는가?

주요 결과

• MVC-Net은 MNIST-Sphere 데이터셋에서 100% ± 0.00의 테스트 정확도를 달성하여, LSTMs 및 GRUs를 포함한 모든 베이스라인을 압도하였다.
• Moving MNIST 영상 분류 과제에서 MVC-Net은 97.0% ± 0.02의 정확도를 기록하였으며, TT-GRU 및 TT-LSTM과 같은 최고 성능을 보인 RNN 기반 모델을 뛰어넘었다.
• 매개변수 효율성이 뛰어나, SPD-SRU 실험에서 단지 738개의 매개변수만을 사용하였으며, LSTMs(252,342개 매개변수) 및 유사한 모델들보다 현저히 적었다.
• MVC-Net 아키텍처는 높은 훈련 효율성을 보였으며, SPD-SRU 과제에서 에포크당 추론 시간이 약 2.7초로, RNN 기반 대안들보다 훨씬 빠르게 작동하였다.
• 이론적 분석을 통해 MVC가 다양체의 등장성 군에 대해 동변성을 보임을 확인하였으며, 일반화 및 가중치 공유에 핵심적인 성질임을 입증하였다.
• 경험적 결과는 tReLU의 사용이 깊은 네트워크 성능에 필수적임을 보여주었으며, 비선형성이 없는 네트워크는 단일 레이어를 초월해 일반화되지 못함을 확인하였다.