[논문 리뷰] Submanifold Sparse Convolutional Networks

Benjamin Graham, Laurens van der Maaten|arXiv (Cornell University)|2017. 06. 05.

3D Shape Modeling and Analysis인용 수 336

한 줄 요약

본 논문은 희소성(sparsity)을 보존하는 희소 컨볼루션(SC)과 유효 희소 컨볼루션(VSC)을 도입하여 깊은 서브 매니폴드 희소 컨볼루션 신경망을 구축하고, 밀도형 등가물의 약 절반의 계산량과 메모리로 최첨단 성능을 달성합니다.

ABSTRACT

Convolutional network are the de-facto standard for analysing spatio-temporal data such as images, videos, 3D shapes, etc. Whilst some of this data is naturally dense (for instance, photos), many other data sources are inherently sparse. Examples include pen-strokes forming on a piece of paper, or (colored) 3D point clouds that were obtained using a LiDAR scanner or RGB-D camera. Standard "dense" implementations of convolutional networks are very inefficient when applied on such sparse data. We introduce a sparse convolutional operation tailored to processing sparse data that differs from prior work on sparse convolutional networks in that it operates strictly on submanifolds, rather than "dilating" the observation with every layer in the network. Our empirical analysis of the resulting submanifold sparse convolutional networks shows that they perform on par with state-of-the-art methods whilst requiring substantially less computation.

연구 동기 및 목표

• 본래 희소한 시공-시간 데이터(예: 펜 스트로크, LiDAR 포인트 클라우드)의 효율적 처리를 동기화한다.
• 레이어 간 희소성의 확장을 피하는 컨볼루션 연산자를 개발한다.
• 희소 컨볼루션을 사용하여 대역폭과 희소성을 유지하는 딥 네트워크 아키텍처(VGG, ResNet, DenseNet 변형)를 구축한다.
• 벤치마크 데이터셋에서 정확도를 유지하면서 계산 및 메모리 절감을 Demonstrate 한다.

제안 방법

• 희소 컨볼루션(SC)과 유효 희소 컨볼루션(VSC)을 정의하고, 기저 상태 값을 무시하며 입력에 존재하는 활성 위치로만 제한한다.
• 네트워크 전반에 걸쳐 희소성 패턴을 고정하기 위해 대부분의 계층에 VSC를 사용한다.
• VSC와 스트라이드 SC 컨볼루션 및 희소 풀링을 결합하여 서브만폴드 네트워크(VGG, ResNet, DenseNet 변형)를 구성한다.
• 활성 위치의 해시 테이블과 작은 특성 행렬로 계산을 표현하고, GPU에서 입력 위치를 출력 위치로 효율적으로 매핑하는 규칙 책(rule book)을 구축한다.
• SC의 역연산으로서 역 컨볼루션(DC)을 제공하여 공간 구조를 재연결한다.

실험 결과

연구 질문

• RQ1 희소 컨볼루션이 계층 간 활성 위치 패턴(submanifold)을 확장 없이 보존하도록 설계될 수 있는가?
• RQ2 SC와 VSC가 희소 데이터에 대해 계산량과 메모리를 감소시키면서 더 깊은 구조를 가능하게 하는가?
• RQ3 서브만폴드 네트워크가 2D 손글씨 데이터 및 3D 형태 데이터에서 밀도 네트워크 및 다른 희소 접근법과 비교하여 어떤 차이를 보이는가?
• RQ4 현대 하드웨어에서 해시 테이블 기반 희소 컨볼루션의 실용적 구현 및 효율성은 어떠한가?

주요 결과

• SC와 VSC는 희소 데이터 벤치마크에서 최첨단 성능을 달성하면서 약 50%의 계산과 메모리를 절감한다.
• Ground-state 버리기(활성 위치를 0으로 설정하는 것)가 CASIA 손글씨 데이터에서 밀도형 컨볼루션과 비교해 정확도를 악화시키지 않는다.
• VSC(유효 희소 컨볼루션)는 희소성을 유지하여 더 깊은 네트워크를 가능하게 하고 상당한 계산 절감을 달성하며 정확도 손실은 최소화된다.
• SC/VSC로 구축된 서브만폴드 아키텍처(VGG/ResNet/DenseNet 변형)는 밀도 기준선보다 더 나은 또는 일치하는 결과를 보이며 FLOPs와 활성화가 현저히 낮다.
• CASIA 및 ModelNet에 대한 실험은 희소 네트워크에 비해 실용적 효율성과 경쟁력 있는 정확도를 입증한다.