[논문 리뷰] Probabilistic Numeric Convolutional Neural Networks

Marc Finzi, Roberto Bondesan외 1명|arXiv (Cornell University)|2020. 10. 21.

Gaussian Processes and Bayesian Inference참고 문헌 56인용 수 6

한 줄 요약

이 논문은 이미지 및 시계열과 같은 연속 신호에서 이산화 불확실성을 명시적으로 표현하고 전파할 수 있도록 특징 맵을 가우시안 프로세스(GP)로 모델링하는 새로운 프레임워크인 확률적 수치 컨볼루션 신경망(PNCNN)을 소개한다. 이러한 GP 특징 맵을 대상으로 편미분방정식을 통한 연속 컨볼루션 연산을 적용함으로써, PNCNN는 비균일 샘플링 하에서도 강건하고 등변(invariant)한 추론을 달성하며, SuperPixel-MNIST에서 오차를 3배 감소시켰고, PhysioNet2012에서도 경쟁력 있는 성능을 유지한다.

ABSTRACT

Continuous input signals like images and time series that are irregularly sampled or have missing values are challenging for existing deep learning methods. Coherently defined feature representations must depend on the values in unobserved regions of the input. Drawing from the work in probabilistic numerics, we propose Probabilistic Numeric Convolutional Neural Networks which represent features as Gaussian processes (GPs), providing a probabilistic description of discretization error. We then define a convolutional layer as the evolution of a PDE defined on this GP, followed by a nonlinearity. This approach also naturally admits steerable equivariant convolutions under e.g. the rotation group. In experiments we show that our approach yields a $3 imes$ reduction of error from the previous state of the art on the SuperPixel-MNIST dataset and competitive performance on the medical time series dataset PhysioNet2012.

연구 동기 및 목표

• 이미지 및 시계열과 같은 연속적이고 비균일하게 샘플링된 신호에 대한 딥러닝에서의 이산화 오차 문제를 해결하기 위해.
• 특징을 확률적으로 모델링하여 샘플링 해상도 및 위치에 대해 불변인 신경망 아키텍처를 개발하기 위해.
• 확률적 수치 기법 원리를 활용해 관측되지 않은 입력 영역의 불확실성을 네트워크의 순방향 전파 과정에 통합하기 위해.
• 연속적 대칭군(예: 회전)에 대한 등변 컨볼루션을 가능하게 하기 위해 연속적 GP 표현을 기반으로 작동하는 컨볼루션 연산을 정의하기 위해.
• 특히 의료 시계열 및 이미지 분류에서, 결측치나 희소 데이터를 포함한 벤치마크에서 기존 방법을 능가하기 위해.

제안 방법

• 각 레이어의 특징 맵을 가우시안 프로세스(GP)로 표현하여, 관측되지 않은 입력 영역에 대한 평균 예측값과 불확실성을 모두 인코딩하기 위해.
• 입력 GP에 대한 편미분방정식(PDE)의 해로 컨볼루션 레이어를 정의함으로써, 이산화되지 않은 연속적 연산을 가능하게 하기 위해.
• GP 출력에 비선형 활성화(예: ReLU)를 적용하고, 변환된 GP의 평균과 공분산에 대한 닫힌 형식의 표현식을 유도하기 위해.
• 생성 함수 기법과 다변량 정규분포 누적분포함수(CDF)를 사용하여 비선형으로 변환된 GP의 모멘트를 계산함으로써, 미분 가능 역전파를 가능하게 하기 위해.
• GP 프레임워크를 활용하여, 예를 들어 회전과 같은 연속 대칭군에 대한 자동 조정 가능한 컨볼루션(steerable convolutions)을 자연스럽게 지원하기 위해.
• 입력 이산화로부터 발생하는 지식 부족 불확실성(epistemic uncertainty)를 명시적으로 추적하기 위해, GP 변환의 조합을 통해 네트워크 전반에 걸쳐 불확실성을 전파하기 위해.

실험 결과

연구 질문

• RQ1 연속 신호에서 관측되지 않은 입력 영역의 불확실성을 명시적으로 표현하기 위해 딥 네트워크 특징을 가우시안 프로세스로 모델링할 수 있는가?
• RQ2 기존 CNN에서 기인하는 이산화 오차를 피하면서도, GP 특징에 대해 연속적 컨볼루션 연산자를 어떻게 정의할 수 있는가?
• RQ3 특징 맵에 대한 불확실성 모델링이 비균일하게 샘플링되거나 해상도가 낮은 데이터에 대해 강건성과 성능을 얼마나 향상시킬 수 있는가?
• RQ4 GP 기반 프레임워크가 연속 대칭군(예: 회전)에 대해 등변 컨볼루션을 지원할 수 있는가? 이는 더 나은 일반화를 가능하게 하는가?
• RQ5 SuperPixel-MNIST나 PhysioNet2012와 같이 결측치나 희소 데이터가 포함된 벤치마크에서, 제안된 방법이 최신 기술 대비 어떻게 성능을 냅니다?

주요 결과

• PNCNN는 SuperPixel-MNIST 데이터셋에서 이전 최고 성능 대비 오차를 3배 감소시켜, 비균일하게 샘플링된 이미지 데이터에서의 향상 정도를 입증하였다.
• 이 방법은 의료 시계열 벤치마크인 PhysioNet2012에서도 경쟁력 있는 성능을 유지하며, 결측치나 희소 측정치에 대한 강건성을 보였다.
• 특징을 GP로 모델링함으로써, 네트워크는 이산화 불확실성을 명시적으로 추적할 수 있었으며, 이는 일반화 성능 향상과 샘플링 아티팩트에 대한 과적합 감소에 기여하였다.
• 특징의 연속적 기능적 표현 덕분에, 이 프레임워크는 예를 들어 회전과 같은 연속 대칭군에 대한 자동 조정 가능한 컨볼루션을 자연스럽게 지원한다.
• 다변량 정규분포 누적분포함수와 생성 함수를 사용하여, GP 특징의 비선형 변환(예: ReLU)에 대한 닫힌 형식의 표현식을 도출하였으며, 이는 효율적이고 미분 가능한 추론을 가능하게 하였다.
• 이 방법은 불확실성을 학습 과정에서의 핵심 구성 요소로 간주함으로써, 표준 CNN 및 기타 이입 또는 정규화 기법을 사용하는 방법들보다도 우수한 성능을 보였다.