[논문 리뷰] Parallel Grid Pooling for Data Augmentation

Akito Takeki, Daiki Ikami외 2명|arXiv (Cornell University)|2018. 03. 30.

Advanced Neural Network Applications참고 문헌 43인용 수 6

한 줄 요약

이 논문은 공간 다운샘플링 중 간섭 특징을 기각하지 않고 다중 다운샘플드 특징 맵을 s×s 격자 내 모든 위치에서 격자 풀링을 통해 생성함으로써, 중간 특징 정보를 보존하는 새로운 미분 가능한 다운샘플링 레이어인 병렬 격자 풀링(Parallel Grid Pooling, PGP)을 제안한다. PGP는 특징 공간에서의 데이터 증강 형태로 작용하여 다양한 이미지 분류 벤치마크에서 성능 향상을 보이며, 확장된 컨벌루션도 PGP 연산을 통해 암묵적으로 수행하는 형태의 데이터 증강으로 재해석할 수 있음을 드러낸다.

ABSTRACT

Convolutional neural network (CNN) architectures utilize downsampling layers, which restrict the subsequent layers to learn spatially invariant features while reducing computational costs. However, such a downsampling operation makes it impossible to use the full spectrum of input features. Motivated by this observation, we propose a novel layer called parallel grid pooling (PGP) which is applicable to various CNN models. PGP performs downsampling without discarding any intermediate feature. It works as data augmentation and is complementary to commonly used data augmentation techniques. Furthermore, we demonstrate that a dilated convolution can naturally be represented using PGP operations, which suggests that the dilated convolution can also be regarded as a type of data augmentation technique. Experimental results based on popular image classification benchmarks demonstrate the effectiveness of the proposed method. Code is available at: https://github.com/akitotakeki

연구 동기 및 목표

• 표준 다운샘플링 레이어가 중간 특징 정보의 1−1/s²를 기각하는 데서 비롯되는 한계를 해결하기 위해.
• 파라미터 증가 없이도 다운샘플링 과정에서 중간 특징을 완전히 활용할 수 있도록 하는 방법을 제안하기 위해.
• PGP가 특징 공간에서의 데이터 증강 형태로 작용하여 모델의 일반화 성능을 향상시킨다는 것을 입증하기 위해.
• 확장된 컨벌루션도 PGP 연산을 통해 암묵적으로 수행하는 형태의 데이터 증강으로 재해석할 수 있음을 밝혀내기 위해.
• CIFAR-10/100, SVHN, ImageNet, 다중 레이블 데이터셋을 포함한 다양한 이미지 분류 벤치마크에서 PGP의 효과성을 검증하기 위해.

제안 방법

• PGP는 컨벌루션 또는 풀링 레이어의 출력 특징 맵을 s×s 격자 형태의 공간 영역으로 분할한다.
• 각 격자 위치 (i,j)에 대해, 각 영역의 좌표 (i,j)에서의 특징 맵 값을 선택하여 격자 풀링 연산을 수행함으로써 s²개의 다운샘플드 특징 맵을 생성한다.
• 결과적으로 생성된 s²개의 특징 맵은 후속 레이어에서 병렬 처리되며, 이는 다수의 이동된 표현을 특징 공간에 효과적으로 증강시키는 방식이다.
• PGP는 파라미터가 없으며, 다중 스트라이드 컨벌루션 또는 풀링 레이어 뒤에 삽입될 수 있어 네트워크의 학습 전략을 수정할 필요가 없다.
• 확장된 컨벌루션은 표준 컨벌루션과 PGP 연산의 조합으로 자연스럽게 분해됨을 보여주며, 이는 확장된 컨벌루션이 암묵적으로 특징 공간에서의 데이터 증강을 수행한다는 새로운 해석을 제시한다.
• PGP는 미세조정 또는 사전 학습된 모델에 대해 테스트 시점에 적용 가능하여 재학습 없이도 추론 정확도 향상을 이끌 수 있다.

실험 결과

연구 질문

• RQ1 CNN의 다운샘플링 연산을 재구성하여 파라미터 증가 없이도 더 많은 중간 특징 정보를 보존할 수 있는가?
• RQ2 伝통적인 이미지 공간 증강 기법과 비교해 병렬 격자 풀링(PGP)이 특징 공간에서 효과적인 데이터 증강 수단으로 기능할 수 있는 정도는 어느 정도인가?
• RQ3 이미지 분류 작업에서 성능 및 특징 표현 측면에서 PGP는 확장된 컨벌루션과 어떻게 비교되는가?
• RQ4 PGP는 사전 학습된 모델의 추론 정확도를 향상시키기 위해 테스트 시점에 적용 가능할 수 있는가?
• RQ5 확장된 컨벌루션 내 암묵적인 PGP 사용이 영상 세그멘테이션 및 객체 인식 작업에서의 성공을 설명할 수 있는가?

주요 결과

• ImageNet에서 PGP는 기본 ResNet-50 대비 최대 1.1% 향상된 top-1 정확도를 기록했으며, ResNet-101 대비 1.0% 향상되어 아키텍처 간 일관된 성능 향상을 보였다.
• CIFAR-100에서 PGP는 ResNet-50 기반으로 21.34%의 top-1 정확도를 달성하여 기본 모델(22.13%)과 확장 컨벌루션 변형(21.26%)을 모두 능가했다.
• NUS-WIDE와 MS-COCO에서의 다중 레이블 분류 작업에서 PGP는 최고의 mAP 점수를 기록했다—ResNet-101 기반으로 NUS-WIDE에서 57.2%, MS-COCO에서 75.5%를 달성하여 기본 모델과 확장 컨벌루션 변형을 모두 초월했다.
• ImageNet 사전 학습 가중치에서 미세조정한 모델을 대상으로 한 실험에서 PGP는 확장 컨벌루션보다 뛰어난 전이 성능을 보였다.
• 제거 실험 결과, PGP는 전통적인 데이터 증강 기법(예: 무작위 자르기, 뒤집기)과 상호보완적임을 확인했으며, 병합 사용으로 추가 성능 향상이 가능했다.
• 확장 컨벌루션의 표준 컨벌루션과 PGP 연산으로의 분해를 통해, 확장 컨벌루션이 본질적으로 특징 공간에서의 데이터 증강을 수행한다는 것이 확인되었다.