[논문 리뷰] Improving the Resolution of CNN Feature Maps Efficiently with Multisampling

Shayan Sadigh, Pradeep Sen|arXiv (Cornell University)|2018. 05. 28.

Advanced Neural Network Applications참고 문헌 17인용 수 3

한 줄 요약

이 논문은 다중 샘플링(multisampling)이라는 새로운 기법을 소개하며, 하향샘플링 과정에서 더 많은 공간 정보를 유지함으로써 CNN 특징 맵 해상도를 향상시키는 데 목적이 있다. 체스기법 하향샘플링(checkered subsampling)은 구조적인 샘플링 패턴을 사용하여 기존의 최대 풀링(max-pooling) 방식의 25% 대비 50%의 공간 해상도를 유지한다. 이는 추가 파rameter 없이 ResNet과 DenseNet에서 정확도를 향상시키며, 미세조정(fine-tuning) 없이 사전학습된 ImageNet 모델의 성능까지 향상시킨다.

ABSTRACT

We describe a new class of subsampling techniques for CNNs, termed multisampling, that significantly increases the amount of information kept by feature maps through subsampling layers. One version of our method, which we call checkered subsampling, significantly improves the accuracy of state-of-the-art architectures such as DenseNet and ResNet without any additional parameters and, remarkably, improves the accuracy of certain pretrained ImageNet models without any training or fine-tuning. We glean possible insight into the nature of data augmentations and demonstrate experimentally that coarse feature maps are bottlenecking the performance of neural networks in image classification.

연구 동기 및 목표

• 표준 CNN에서 해상도가 낮은 최종 특징 맵으로 인해 발생하는 성능 저하 문제를 해결한다.
• 하향샘플링 계층에서 계산 효율성과 공간 정보 유지 간의 상충 관계를 극복한다.
• 모델 파rameter나 계산 비용을 증가시키지 않고도 고해상도 공간 특징을 유지한다.
• 최소한의 아키텍처 수정으로 최신 모델이 더 높은 정확도를 달성할 수 있도록 한다.
• 해상도가 낮은 특징 맵이 현대 CNN에서 핵심 성능 저하 요인임을 입증한다.

제안 방법

• 하향샘플링 과정에서 특징 맵으로부터 더 많은 샘플을 취하는 데 목적이 있는 일반적인 프레임워크인 다중 샘플링(multisampling)을 제안한다.
• 체스기법 하향샘플링(checkered subsampling)을 도입하며, 체스판 무늬 패턴을 사용해 각 레이어에서 공간 위치의 50%만 선택하는 구조적인 2차원 하향샘플링 방법이다.
• 다중 샘플된 특징 표현을 저장하기 위해 특징 맵에 서브맵(submap) 차원을 추가하여, 서브맵 간 3차원 컨볼루션 연산을 가능하게 한다.
• 체스기법 하향샘플링을 반복 적용할 경우 대각선 샘플링 편향을 방지하기 위해 저이격도 격자 수열(low-discrepancy lattice sequences) 또는 랜덤 샘플러 선택을 사용한다.
• PyTorch와 같은 딥러닝 프레임워크에 최소한의 코드 수정으로 구현하여, ResNet과 DenseNet과 같은 기존 아키텍처를 체스기법 CNNs(CCNNs)로 쉽게 변환할 수 있도록 한다.
• 모든 서브맵에 동일한 하향샘플링 패턴을 적용하거나, 무작위로 패턴을 다양화하여 특징 샘플링의 분포를 개선하고 공간 편향을 줄인다.

실험 결과

연구 질문

• RQ1 모델 파rameter나 계산 비용을 증가시키지 않고도 CNN 특징 맵의 해상도를 향상시킬 수 있는가?
• RQ2 하향샘플링 계층에서 더 많은 공간 정보를 유지하면 이미지 분류 작업의 정확도가 향상되는가?
• RQ3 체스기법 하향샘플링은 기존 사전학습된 모델에 적용하여 재학습이나 미세조정 없이 정확도를 향상시킬 수 있는가?
• RQ4 현대 CNN에서 성능 저하가 낮은 최종 특징 맵으로 인한 것인지, 그리고 이를 완화할 수 있는가?
• RQ5 체스기법 하향샘플링의 구조적 샘플링 패턴은 기존의 최대 풀링과 확장 컨볼루션(dilated convolutions)에 비해 정보 유지 능력과 계산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 체스기법 하향샘플링은 각 레이어에서 원본 크기의 50% 공간 해상도를 유지하는 반면, 기존의 최대 풀링 방식은 25%에 그친다.
• 이 방법은 추가 파rameter 없이 최신 모델인 ResNet과 DenseNet의 정확도를 향상시킨다.
• 사전학습된 ImageNet 모델을 체스기법 CNN으로 변환한 결과, 재학습이나 미세조정 없이도 상위-1 정확도가 향상되었다.
• 이 기법은 공간 차원을 줄이면서도 더 많은 공간 정보를 유지함으로써 계산 효율성을 유지하며, 확장 컨볼루션의 높은 비용을 피한다.
• 서브맵 간 서로 다른 체스기법 샘플러를 무작위로 적용함으로써 대각선 샘플링 편향을 방지하고 특징 분포를 향상시킨다.
• 서브맵 차원 덕분에 여러 샘플된 특징 표현을 처리하는 3차원 컨볼루션을 구현할 수 있어, 특징 표현 능력이 향상된다.