[논문 리뷰] Spatially-sparse convolutional neural networks

Benjamin Graham|arXiv (Cornell University)|2014. 09. 22.

Advanced Neural Network Applications참고 문헌 12인용 수 197

한 줄 요약

이 논문은 온라인 필기에서 한 줄의 펜 자국이나 패딩된 이미지와 같은 입력의 희소성(스퍼스리티)을 활용하는 공간 희소 컨볼루션 신경망(CNN)을 제안한다. 이는 깊은 CNN의 학습과 추론을 크게 가속화한다. 희소 계산을 활용함으로써 더 깊은 아키텍처의 효율적 학습이 가능해지며, 상태 수준의 성능을 달성한다: CASIA-OLHWDB1.1에서 3.82%의 테스트 오차, CIFAR-10에서 6.28%의 테스트 오차를 기록하여 유사하거나 감소된 계산 비용을 가진 이전 방법들을 능가한다.

ABSTRACT

Convolutional neural networks (CNNs) perform well on problems such as handwriting recognition and image classification. However, the performance of the networks is often limited by budget and time constraints, particularly when trying to train deep networks. Motivated by the problem of online handwriting recognition, we developed a CNN for processing spatially-sparse inputs; a character drawn with a one-pixel wide pen on a high resolution grid looks like a sparse matrix. Taking advantage of the sparsity allowed us more efficiently to train and test large, deep CNNs. On the CASIA-OLHWDB1.1 dataset containing 3755 character classes we get a test error of 3.82%. Although pictures are not sparse, they can be thought of as sparse by adding padding. Applying a deep convolutional network using sparsity has resulted in a substantial reduction in test error on the CIFAR small picture datasets: 6.28% on CIFAR-10 and 24.30% for CIFAR-100.

연구 동기 및 목표

• 고해상도 또는 희소 입력(예: 온라인 필기 데이터)에서 깊은 CNN을 학습할 때 발생하는 계산 비효율성을 해결하기 위해.
• 희소성을 활용해 학습 및 추론 시간을 줄여 더 깊고 정확도가 높은 CNN 아키텍처의 사용을 가능하게 하기 위해.
• 희소성과 데이터 증강 기법, 더 깊은 네트워크 설계를 융합하여 이미지 인식 작업의 성능을 향상시키기 위해.
• 패딩을 추가하여 비희소 이미지도 희소로 간주함으로써 희소 CNN의 적용 가능성을 탐색하기 위해.

제안 방법

• 희소성을 유지할 수 있도록 초기 레이어에서 공간 희소성을 보존하도록 설계된 새로운 종류의 깊은 CNN, DeepCNet(ℓ,k)를 사용한다. 이는 번갈아가며 3×3 및 2×2 최대 풀링 레이어를 포함한다.
• 0값을 가진 계산을 건너뛰는 희소 텐서 연산을 통해 희소성을 활용함으로써, FLOPs와 메모리 사용량을 크게 감소시킨다.
• 입력을 고해상도 캔버스 위의 한 편의 펜 자국(예: 이진 희소 그리드)으로 표현함으로써, 큰 입력 크기에서도 효율적인 처리가 가능하다.
• 애핀 변환과 패딩을 통한 데이터 증강 기법을 지원하며, 네트워크 전반에 걸쳐 희소성이 유지된다.
• Network-in-Network 레이어를 통합하여 특징 학습 능력을 향상시키면서도 희소성을 유지하는 수정된 네트워크, DeepCNiN을 제안한다.
• 비희소 이미지도 패딩을 통해 희소로 간주함으로써, 효율적인 전체 모드 컨볼루션을 가능하게 하여 비희소 이미지로의 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 입력 데이터의 희소성을 활용하여 더 깊고 정확도가 높은 CNN을 효율적으로 학습시킬 수 있는가?
• RQ2 희소성이 온라인 필기 인식 작업에서 깊은 CNN의 성능과 학습 속도에 어떤 영향을 미치는가?
• RQ3 희소 CNN이 CIFAR-10 및 CIFAR-100과 같은 표준 이미지 벤치마크에서 최고 수준의 성능을 달성할 수 있는가?
• RQ4 희소성이 계산 비용 증가 없이도 번역 및 애핀 변환과 같은 더 유연한 데이터 증강 전략을 가능하게 하는가?
• RQ5 희소 CNN이 3D 오브제나 시공간 궤적과 같은 고차원 데이터로 확장될 수 있는가?

주요 결과

• 3755개의 문자 클래스를 가진 CASIA-OLHWDB1.1 데이터셋에서, DeepCNet(6,100)을 사용해 3.82%의 테스트 오차를 기록하여 이전 연구를 능가했다.
• ICDAR2013 중국 필기 경연 대회에서, 2.61%의 테스트 오차를 기록하여 1등을 차지했으며, 2등인 3.13%를 뛰어넘었다.
• MNIST에서 DeepCNet(5,10)은 0.58%의 테스트 오차를 기록했고, 드롭아웃을 적용한 더 깊은 DeepCNet(5,60)은 0.31%의 테스트 오차를 기록하여 희소 계산으로도 높은 정확도를 달성했다.
• CIFAR-10에서 DeepCNiN(5,300)을 사용해 6.28%의 테스트 오차를 기록했으며, 기준 모델 대비 성능을 향상시키고 비희소 기준 대비 2.53%의 오차 감소를 이룩했다.
• CIFAR-100에서는 24.30%의 테스트 오차를 기록했으며, 기본 DeepCNet의 29.81% 오차와 비증강 기준의 35.68% 오차에 비해 뚜렷한 향상이 있었다.
• 단일 GPU에서 3000자/초의 실시간 추론이 가능하여, 저전력 장치에 대한 실용적인 효율성을 입증했다.