[논문 리뷰] CKConv: Continuous Kernel Convolution For Sequential Data

David W. Romero, Anna Kuzina외 3명|arXiv (Cornell University)|2021. 02. 04.

Human Pose and Action Recognition참고 문헌 65인용 수 13

한 줄 요약

CKConv는 신경망을 사용하여 연속 함수로 컨volution 커널을 파arameter화하는 연속 커널 컨볼루션(Continuous Kernel Convolution)을 도입한다. 이는 반복 없이도 임의로 긴 메모리 수평선을 갖는다. 이는 병렬 학습, 비균일하게 샘플링된 데이터의 자연스러운 처리, 그리고 permuted MNIST 및 비균일 데이터 벤치마크와 같은 순차적 작업에서 최신 기술 수준의 성능을 달성하게 한다. 표준 CNN과 신경 ODE보다도 속도와 단순성에서 뛰어나다.

ABSTRACT

Conventional neural architectures for sequential data present important limitations. Recurrent networks suffer from exploding and vanishing gradients, small effective memory horizons, and must be trained sequentially. Convolutional networks are unable to handle sequences of unknown size and their memory horizon must be defined a priori. In this work, we show that all these problems can be solved by formulating convolutional kernels in CNNs as continuous functions. The resulting Continuous Kernel Convolution (CKConv) allows us to model arbitrarily long sequences in a parallel manner, within a single operation, and without relying on any form of recurrence. We show that Continuous Kernel Convolutional Networks (CKCNNs) obtain state-of-the-art results in multiple datasets, e.g., permuted MNIST, and, thanks to their continuous nature, are able to handle non-uniformly sampled datasets and irregularly-sampled data natively. CKCNNs match or perform better than neural ODEs designed for these purposes in a faster and simpler manner.

연구 동기 및 목표

• RNN의 한계, 예를 들어 기울기 소실 문제와 작은 효과적 메모리 수평선을 극복하기 위해.
• 표준 CNN의 고정된 메모리 수평선과 이산적 커널 파arameter화 문제를 해결하기 위해.
• 임의의 시퀀스 길이와 샘플링 패턴에 일반화할 수 있는 연속 컨볼루션 커널의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 비균일하고 연속적인 순차적 데이터를 모델링하기 위한 신경 ODE보다 더 단순하고 빠른 대안을 제공하기 위해.

제안 방법

• 상대적 시간 단위를 커널 가중치로 매핑하는 작은 다층퍼셉트론(MLP)을 사용하여 컨볼루션 커널을 연속 함수로 파arameter화한다.
• 컨볼루션 중에 임의의 상대적 위치에서 연속 커널을 평가함으로써, 융통성 있고 해상도에 영향을 받지 않는 연산을 가능하게 한다.
• 복잡하고 비연속적이며 고주파의 커널 함수를 모델링하기 위해 사인 비선형성을 가진 SIREN(Sinusoidal Representation Networks)을 사용한다.
• 필요한 상대적 위치에서 연속 커널을 샘플링하여, 어떤 길이의 시퀀스에서도 병렬 계산이 가능하도록 한다.
• 표준 backpropagation를 사용하여 전체 네트워크를 엔드 투 엔드로 학습함으로써 반복과 기울기 불안정성을 피한다.
• 비균일한 시간 간격에서 커널을 평가함으로써 비균일하게 샘플링된 데이터에 적응시키며, 변수 샘플링 속도를 자연스럽게 지원한다.

실험 결과

연구 질문

• RQ1 연속 커널 파arameter화가 반복 없이도 고정된 커널 크기 없이 장기 의존성을 모델링할 수 있는가?
• RQ2 기존 방법과 비교해 비균일하게 샘플링된 또는 비균일하게 샘플링된 순차적 데이터 작업에서 CKConv의 성능은 어떠한가?
• RQ3 SIREN 활성화 함수를 가진 연속 커널이 이산 커널보다 순차적 데이터의 복잡하고 고주파 패턴을 더 효과적으로 포착할 수 있는가?
• RQ4 CKConv가 permuted MNIST 및 CIFAR10와 같은 표준 벤치마크에서 최신 기술 수준의 성능를 달성하면서도 학습 효율성을 유지하는가?
• RQ5 CKCNN은 재학습이나 아키텍처 변경 없이 다양한 시퀀스 길이와 샘플링 속도에 일반화할 수 있는가?

주요 결과

• CKCNN은 permuted MNIST에서 최신 기술 수준의 성능를 달성하며, 표준 CNN과 RNN 기반 모델을 모두 능가한다.
• CKCNN은 CT 및 SC_raw와 같은 비균일하게 샘플링된 데이터 작업에서 신경 ODE의 성능를 따라하거나 능가하지만, 더 빠르고 학습이 간편하다.
• 모델은 네트워크 깊이나 확장 요소에 의존하지 않고도 임의의 길이의 시퀀스를 단일 전방 전파로 처리할 수 있다.
• SIREN 기반 커널의 ω₀ 최적 값은 시퀀스 길이에 따라 달라지며, 이는 시간 해상도와 복잡성에 민감함을 시사한다.
• CKCNN은 데이터 비균일성에 대해 뛰어난 강건성을 보이며, PhysioNet 및 CT 데이터셋에서 70%의 데이터 누락 상황에서도 높은 정확도를 유지한다.
• 다양한 노력에도 불구하고 sCIFAR10에서 과적합이 관찰되어 고차원 이미지 데이터로의 확장에는 더 강력한 정규화가 필요함을 시사한다.