[논문 리뷰] Modelling Long Range Dependencies in $N$D: From Task-Specific to a General Purpose CNN

David M. Knigge, David W. Romero외 6명|arXiv (Cornell University)|2023. 01. 25.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 입력 차원, 해상도, 길이에 관계없이 아키텍처 변경 없이 임의의 입력 치수, 해상도, 길이에서 장거리 의존성을 모델링하는 연속 컨볼루션 커널을 사용하는 일반 목적의 CNN 아키텍처인 연속 컨볼루션 신경망(CCNN)을 소개한다. CCNN는 1D, 2D, 3D 작업에서 최신 기준 성능 또는 경쟁 가능한 성능을 달성하며, 최소한의 파라미터로 Long Range Arena 벤치마크에서 트랜스포머를 능가한다.

ABSTRACT

Performant Convolutional Neural Network (CNN) architectures must be tailored to specific tasks in order to consider the length, resolution, and dimensionality of the input data. In this work, we tackle the need for problem-specific CNN architectures. We present the Continuous Convolutional Neural Network (CCNN): a single CNN able to process data of arbitrary resolution, dimensionality and length without any structural changes. Its key component are its continuous convolutional kernels which model long-range dependencies at every layer, and thus remove the need of current CNN architectures for task-dependent downsampling and depths. We showcase the generality of our method by using the same architecture for tasks on sequential ($1{ m D}$), visual ($2{ m D}$) and point-cloud ($3{ m D}$) data. Our CCNN matches and often outperforms the current state-of-the-art across all tasks considered.

연구 동기 및 목표

• 입력 길이, 해상도, 치수에 맞게 맞춤형으로 설계된 작업 전용 CNN 아키텍처가 필요 없도록 하기 위해.
• 동일한 CNN 아키텍처가 입력 해상도, 치수, 길이가 임의일 경우에도 아키텍처 수정 없이 처리할 수 있도록 하기 위해.
• 고정 크기의 이산 커널 대신 매개변수화된 연속 컨볼루션 커널을 사용하여 장거리 의존성을 효율적으로 모델링하기 위해.
• 일련의 시퀀스, 이미지, 포인트 클라우드 데이터 등 다양한 데이터 모odal리티에 대해 일반화 성능을 보장하고 일관된 성능을 달성하기 위해.
• 바이올레이션 또는 격자 기반 표현 없이도 비균일하게 샘플링된 데이터, 예를 들어 포인트 클라우드와 같은 비정규 구조 데이터를 네이티브로 처리할 수 있도록 하기 위해.

제안 방법

• 작은 신경망(커널 네트워크)을 사용해 컨볼루션 커널을 연속 함수로 매개변수화하여 커널 크기와 파라미터 수를 분리한다.
• 좌표 입력의 차원 수를 조절함으로써(1D, 2D, 3D) 동일한 커널 네트워크를 다양한 데이터 모달리티에 적용한다.
• 연속 도메인에서의 통합을 통해 연속 컨볼루션을 적용함으로써, 파라미터 수 증가 없이도 임의의 커널 크기를 구현한다.
• 커널 네트워크를 엔드 투 엔드로 훈련시켜 공간적 의존성의 연속 표현을 학습함으로써 장거리 상호작용을 모델링할 수 있도록 한다.
• 특히 큰 커널에 대해 계산 효율성을 향상시키기 위해 푸리에 컨볼루션 기법을 활용한다.
• 1D 시퀀스, 2D 이미지, 3D 포인트 클라우드 등 다양한 작업에 대해 아키텍처 변경 없이 동일한 CCNN 아키텍처를 적용하고, 각 모달리티에 맞는 하이퍼파라미터 조정 없이도 성능을 달성한다.

실험 결과

연구 질문

• RQ1 한 개의 CNN 아키텍처가 아키텍처 수정 없이 1D, 2D, 3D 데이터 전반에서 일반화할 수 있는가?
• RQ2 깊이 또는 풀링 레이어에 의존하지 않고도 연속 컨볼루션 커널이 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 연속 커널 매개변수화 방식이 다양한 해상도와 샘플링 패턴 간의 일반화 성능 향상에 기여하는가?
• RQ4 매우 작은 CCNN가 희박한 3D 포인트 클라우드 데이터에서 뛰어난 성능을 낼 수 있으며, 그 이유는 무엇인가?
• RQ5 CCNN가 바이올레이션 또는 격자 기반 표현 없이도 비정규적으로 샘플링된 데이터를 네이티브로 처리할 수 있는가?

주요 결과

• CCNN는 Long Range Arena 벤치마크에서 최신 기준 성능을 달성했으며, 6,380개 파라미터 모델이 Pathfinder에서 96.00% 정확도, 2D 이미지 작업에서 91.12% 정확도를 기록했다.
• ModelNet40에서 6,380개 파라미터 CCNN는 더 큰 모델(200k 및 2M 파라미터)을 능가하며, 포인트 클라우드 데이터에서 91.12%의 정확도를 달성했다.
• CCNN는 데이터 표현 간 일반화 성능가 보이며, 원본 포인트 클라우드에서는 90.99% 정확도, 바이올레이션된 버전에서는 90.64% 정확도를 기록하여 입력 형식에 대해 강건함을 입증했다.
• 작은 CCNN(6k–48k 파라미터)가 3D 포인트 클라우드에서 더 큰 모델보다 뛰어난 성능을 보이며, 이는 희박성과 앨리어싱이 더 큰 모델의 성능을 제한함을 시사한다.
• 연속 커널 정식화 방식 덕분에 비정규적으로 샘플링된 데이터를 네이티브로 처리할 수 있으며, 격자 변환 또는 보간이 필요 없다.
• CCNN는 훨씬 적은 파라미터로 전문화된 모델인 트랜스포머 및 S4와 동일하거나 그 이상의 성능을 여러 벤치마크에서 달성했다.