[논문 리뷰] Sparsely Aggregated Convolutional Networks

Ligeng Zhu, Ruizhi Deng외 4명|arXiv (Cornell University)|2018. 01. 18.

Advanced Neural Network Applications참고 문헌 44인용 수 6

한 줄 요약

이 논문은 이전 레이어의 로그 수준의 부분집합만 선택적으로 연결하는 희박하게 집계된 스킵 커넥션을 사용하는 새로운 컨volutional 신경망 아키텍처인 SparseNet을 제안한다. 전체 이전 레이어에 연결하는 대신 로그 수준의 부분집합만 연결함으로써 집계 복잡도를 선형에서 로그 수준으로 감소시켜, ResNet과 DenseNet보다 더 적은 파라미터와 FLOPs로 뛰어난 정확도를 달성하며, 성능 저하 없이 1000개 이상의 레이어로도 안정적으로 확장 가능하다.

ABSTRACT

We explore a key architectural aspect of deep convolutional neural networks: the pattern of internal skip connections used to aggregate outputs of earlier layers for consumption by deeper layers. Such aggregation is critical to facilitate training of very deep networks in an end-to-end manner. This is a primary reason for the widespread adoption of residual networks, which aggregate outputs via cumulative summation. While subsequent works investigate alternative aggregation operations (e.g. concatenation), we focus on an orthogonal question: which outputs to aggregate at a particular point in the network. We propose a new internal connection structure which aggregates only a sparse set of previous outputs at any given depth. Our experiments demonstrate this simple design change offers superior performance with fewer parameters and lower computational requirements. Moreover, we show that sparse aggregation allows networks to scale more robustly to 1000+ layers, thereby opening future avenues for training long-running visual processes.

연구 동기 및 목표

• ResNet과 DenseNet과 같은 현대 CNN에서 모든 이전 레이어에 연결함으로써 파라미터와 계산 자원을 낭비하는 밀집 집계의 비효율성을 해결하기 위해.
• 내부 집계에서 스킵 커넥션의 수를 줄여도 성능을 유지하면서 모델의 효율성을 향상시킬 수 있는지 탐색하기 위해.
• 정확도를 유지하거나 향상시키면서도 초고도의 깊이 네트워크(예: 1000+ 레이어) 학습이 가능한 확장성 있고 파라미터 효율적인 아키텍처를 설계하기 위해.
• 집계 토폴로지가 ResNet과 DenseNet 간의 다른 설계 요소들과 독립적인 기본적인 아키텍처 선택임을 입증하기 위해.

제안 방법

• DenseNet과 ResNet의 전체 집계를, 이전 레이어의 로그 수준의 부분집합만 연결하는 희박한 집계 토폴로지로 대체한다.
• 계층적이고 트리 구조를 사용하여 각 후속 레이어에 기여할 이전 레이어를 선택함으로써 장거리 특징 재사용을 보장한다.
• 들어오는 연결 수에 대해 로그 수준의 스케일링 규칙을 적용하여, 네트워크 깊이 n에 따라 파라미터와 FLOP의 성장률을 O(n)에서 O(log n)으로 감소시킨다.
• 아키텍처 수정 없이 표준 최적화 방법(SGD와 가중치 감소)을 사용해 모델을 훈련시킨다.
• CIFAR-10/100 및 ImageNet 벤치마크에서 파라미터 효율성, FLOPs, 정확도를 비교한 아블레이션 스터디를 수행한다.
• 특징 재사용 패턴을 분석하고 SparseNet의 높은 파라미터 활용도를 확인하기 위해 학습된 연결 가중치를 히트맵으로 시각화한다.

실험 결과

연구 질문

• RQ1 내부 집계에서 스킵 커넥션의 수를 줄여도 성능 저하 없이 모델 효율성을 향상시킬 수 있는가?
• RQ2 집계 복잡도를 로그 수준으로 스케일링하면 매우 깊은 네트워크(예: 1000+ 레이어)에서 더 나은 확장성을 보일 수 있는가?
• RQ3 특징 재사용과 파라미터 효율성 측면에서 희박한 집계는 전체 집계보다 어떻게 다를까?
• RQ4 희박한 집계 패턴은 DenseNet 유사 아키텍처뿐 아니라 ResNet 유사 아키텍처에서도 효과가 있는가?

주요 결과

• SparseNet은 ResNet과 DenseNet보다 훨씬 적은 파라미터와 FLOPs로 CIFAR-10과 ImageNet에서 최신 기준 정확도를 달성한다.
• 작은 크기의 SparseNet 모델은 가장 높은 성능을 내는 DenseNet과 동일한 정확도를 달성하면서도 파라미터와 FLOPs를 30-50% 줄였다.
• SparseNet은 1000+ 레이어로도 안정적으로 확장되며 성능 저하 없이 유지되는 반면, DenseNet은 이러한 깊이에서 성능이 정점에 도달하거나 저하된다.
• 히트맵 분석 결과, SparseNet은 거의 모든 파라미터를 효과적으로 사용하며 대부분의 연결이 강하게 활성화되어 잠재적인 부족함이 거의 없음을 확인했다.
• 희박한 집계 패턴은 장거리 특징 활용도를 향상시켜, 먼 거리에 있는 레이어 간에도 일관되게 높은 가중치 연결이 유지됨을 입증했다.
• TensorFlow 구현에서 약간의 버그를 수정한 결과, SparseNet의 DenseNet에 비해 뛰어난 효율성은 우연의 정규화 때문이 아니라 실제로 뚜렷한 성능 우위임을 입증했다.