[논문 리뷰] Towards a General Purpose CNN for Long Range Dependencies in $N$D

David W. Romero, David M. Knigge외 5명|arXiv (Cornell University)|2022. 06. 07.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 연속 컨볼루션 커널을 사용하는 일반 목적의 CNN 아키텍처인 연속 컨볼루션 신경망(CCNN)을 소개한다. 이 CCNN는 다양한 데이터 길이, 해상도, 차원성(1D, 2D, 3D+)에 대해 아키텍처 변경 없이 장거리 의존성을 모델링할 수 있도록 작은 신경망에 의해 파arameter화된 연속 컨볼루션 커널을 사용한다. CCNN는 음성, 이미지, 순차적 데이터 분야에서 다양한 작업에서 최신 기준(SOTA) 또는 경쟁력 있는 성능을 달성하며, Long Range Arena 및 Pathfinder와 같은 벤치마크에서 이전 방법보다 최대 10个百分点 향상된 성능을 보였다.

ABSTRACT

The use of Convolutional Neural Networks (CNNs) is widespread in Deep Learning due to a range of desirable model properties which result in an efficient and effective machine learning framework. However, performant CNN architectures must be tailored to specific tasks in order to incorporate considerations such as the input length, resolution, and dimentionality. In this work, we overcome the need for problem-specific CNN architectures with our Continuous Convolutional Neural Network (CCNN): a single CNN architecture equipped with continuous convolutional kernels that can be used for tasks on data of arbitrary resolution, dimensionality and length without structural changes. Continuous convolutional kernels model long range dependencies at every layer, and remove the need for downsampling layers and task-dependent depths needed in current CNN architectures. We show the generality of our approach by applying the same CCNN to a wide set of tasks on sequential (1$\mathrm{D}$) and visual data (2$\mathrm{D}$). Our CCNN performs competitively and often outperforms the current state-of-the-art across all tasks considered.

연구 동기 및 목표

• 표준 CNN이 다양한 데이터 길이, 해상도, 차원성에 맞게 작업에 특화된 아키텍처가 필요로 하는 한계를 해결하기 위해.
• 이산 컨볼루션 커널이 장거리 의존성을 효율적으로 모델링하지 못하고 해상도에 민감한 점을 극복하기 위해.
• 순차적, 시각적, 고차원 데이터에서 구조적 수정 없이 효과적으로 작동하는 단일 통합 CNN 아키텍처를 개발하기 위해.
• 커널 크기와 파rameter 수를 분리하는 연속 커널 파arameter화를 통해 전역적 맥락을 효율적으로 모델링할 수 있도록 하기 위해.

제안 방법

• 이산 컨볼루션 커널을 작은 신경망에 의해 입력 좌표를 커널 값으로 매핑하는 방식으로 파arameter화된 연속 커널로 대체한다.
• 커널 생성 네트워크에 좌표 기반 입력을 사용하여 다양한 입력 스케일에서 해상도에 민감하지 않은 작동을 가능하게 한다.
• 좌표 입력의 차원성을 변경하여 1D, 2D, 고차원 데이터 모두에 동일한 커널 생성 네트워크를 구축한다.
• 다운샘플링, 풀링, 작업에 특화된 깊이를 제거하기 위해 연속 커널 파arameter화를 통해 장거리 모델링을 가능하게 한다.
• 아키텍처 변경 없이 다양한 데이터 모odal리티와 해상도에서 여러 작업에 대해 단일 CCNN 아키텍처를 훈련한다.
• 이산 커널이 가진 파라미터 폭발 문제를 피하기 위해 연속 커널을 활용해 장거리 의존성을 효율적으로 모델링한다.

실험 결과

연구 질문

• RQ1 일관된 CNN 아키텍처가 임의의 길이, 해상도, 차원성을 가진 데이터에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 이산 커널에 비해 연속 커널 파arameter화가 장거리 시퀀스 및 이미지 작업 성능에 어떻게 기여하는가?
• RQ3 통합된 CCNN 아키텍처가 음성, 이미지, 순차적 데이터를 포함한 다양한 벤치마크에서 작업에 특화된 CNN보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 연속 커널 형식이 다양한 데이터 모달리티에서 더 나은 일반화와 더 빠른 수렴을 가능하게 하는가?
• RQ5 동일한 커널 생성 네트워크가 아키텍처 변경 없이 1D, 2D, 3D+ 데이터에 모두 사용될 수 있는가?

주요 결과

• 200만 파라미터를 가진 CCNN는 Pathfinder 2D 이미지 분류 벤치마크에서 96.00%의 정확도를 달성하여 이전 최신 기준(SOTA)보다 거의 10个百分点 높은 성능을 보였다.
• Long Range Arena 벤치마크에서 CCNN는 여섯 개의 작업 평균 점수 77.02를 기록하여 이전 최신 기준(S4)보다 16.54점 높은 성능을 보였다.
• 2D 이미지 분류에서 200만 파라미터를 가진 CCNN는 CIFAR-100에서 95.20%의 정확도를 달성하여 ResNet-18 및 기타 이전 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 원시 음성 분류(MFCC 0.5x)에서 CCNN는 98.44%의 정확도를 기록하여 이 문제에서 매우 도전적인 설정에서 S4 및 기타 최신 기준(SOTA) 방법을 뛰어넘었다.
• 2D 데이터(예: 이미지)에서 훈련된 모델이 1D로 편평화된 대비에서 더 빠르게 수렴하는 것으로 나타나, 공간적 구조를 유지하는 것이 유리함을 보였다.
• CCNN는 sMNIST에서 99.72%의 정확도, pMNIST에서 98.84%의 정확도를 기록하여 S4 및 LSSL과 같은 전용 아키텍처와 동등하거나 그 이상의 성능을 달성했다.