[논문 리뷰] DropBlock: A regularization method for convolutional networks

Golnaz Ghiasi, Tsung-Yi Lin외 1명|arXiv (Cornell University)|2018. 10. 30.

Advanced Neural Network Applications인용 수 517

한 줄 요약

DropBlock은 CNN에서 특징 맵의 연속 영역을 제거하여 구조화된 드롭아웃을 도입하고, 표준 드롭아웃에 비해 정규화와 정확도를 향상시킵니다. ResNet-50 및 AmoebaNet 아키텍처에서 ImageNet 및 COCO에 걸쳐 유의한 이득을 얻습니다.

ABSTRACT

Deep neural networks often work well when they are over-parameterized and trained with a massive amount of noise and regularization, such as weight decay and dropout. Although dropout is widely used as a regularization technique for fully connected layers, it is often less effective for convolutional layers. This lack of success of dropout for convolutional layers is perhaps due to the fact that activation units in convolutional layers are spatially correlated so information can still flow through convolutional networks despite dropout. Thus a structured form of dropout is needed to regularize convolutional networks. In this paper, we introduce DropBlock, a form of structured dropout, where units in a contiguous region of a feature map are dropped together. We found that applying DropbBlock in skip connections in addition to the convolution layers increases the accuracy. Also, gradually increasing number of dropped units during training leads to better accuracy and more robust to hyperparameter choices. Extensive experiments show that DropBlock works better than dropout in regularizing convolutional networks. On ImageNet classification, ResNet-50 architecture with DropBlock achieves $78.13\%$ accuracy, which is more than $1.6\%$ improvement on the baseline. On COCO detection, DropBlock improves Average Precision of RetinaNet from $36.8\%$ to $38.4\%$.

연구 동기 및 목표

• 표준 드롭아웃 하의 공간적으로 상관된 특징으로 인해 합성곱 뉴럴 네트워크의 규제 필요성이 증가했다는 점을 동기화합니다.
• 연속 영역을 특징 맵에서 제거하는 구조화된 드롭아웃으로 DropBlock을 제안합니다.
• 드롭 확률의 스케줄링과 함께 DropBlock을 합성곱 블록 및 스킵 연결에 적용하는 영향을 조사합니다.
• ImageNet 분류, COCO 객체 검출, PASCAL VOC 시맨틱 세분화에서 DropBlock의 효과를 입증합니다.

제안 방법

• DropBlock을 특징 맵 내의 연속 영역(블록)을 제거하는 방식으로 정의합니다.
• 특성 맵당 Bernoulli 마스크를 샘플링하여 시드 위치를 선택하고, 각 시드를 블록 크기(block_size)로 확장합니다.
• 마스킹 후 특징 맵을 정규화하여 기대 활성화 통계를 유지합니다.
• 학습 중 유지 확률(keep_prob)을 점진적으로 감소시키는 스케줄링 방식을 도입하여 강건성을 확보합니다.
• 다양한 아키텍처(ResNet-50, AmoebaNet-B)와 작업(이미지 분류, 객체 검출, 세분화)을 대상으로 DropBlock을 평가합니다.

실험 결과

연구 질문

• RQ1 구조화된 드롭아웃(DropBlock)이 CNN 규제에서 기존의 드롭아웃을 능가하는가?
• RQ2 어떤 블록 크기와 스케줄링 전략이 아키텍처와 작업 전반에서 최상의 성능을 낳는가?
• RQ3 스킵 연결에 DropBlock을 적용하는 것이 잔차 네트워크에서 유익한가?
• RQ4 DropBlock이 이미지 분류 외의 다양한 시각 작업(예: 객체 검출 및 세분화) 성능을 향상시킬 수 있는가?

주요 결과

모델	상위-1 (%)	상위-5 (%)
ResNet-50	76.51	93.20
ResNet-50 + 드롭아웃 (kp=0.7)	76.80	93.41
ResNet-50 + DropPath (kp=0.9)	77.10	93.50
ResNet-50 + SpatialDropout (kp=0.9)	77.41	93.74
ResNet-50 + 컷아웃	76.52	93.21
ResNet-50 + AutoAugment	77.63	93.82
ResNet-50 + 레이블 스무딩 (0.1)	77.17	93.45
ResNet-50 + DropBlock (kp=0.9)	78.13	94.02
ResNet-50 + DropBlock (kp=0.9) + 레이블 스무딩 (0.1)	78.35	94.15
AmoebaNet-B (6, 256)	82.25	95.88
AmoebaNet-B (6, 256) + DropBlock	82.52	96.07

• DropBlock은 ImageNet에서 ResNet-50 기준으로 드롭아웃 및 SpatialDropout보다 일관되게 우수하며, kp=0.9일 때 Top-1 정확도 78.13%를 달성하고 표준은 76.51%이다.
• 스케줄링을 적용하고 스킵 연결에 DropBlock을 적용하면 추가 이득이 발생하여 라벨 스무딩(labēl smoothing)으로 78.35%의 Top-1에 도달한다.
• AmoebaNet-B (6, 256)에서 DropBlock은 Top-1 정확도를 82.25%에서 82.52%로 향상시킨다.
• COCO 객체 검출에서 RetinaNet을 사용 시 DropBlock이 AP를 36.8%에서 38.4%로 증가시킨다.
• 시맨틱 세분화(PASCAL VOC)에서 DropBlock을 처음부터 학습에 적용하면 mIOU가 향상되며, 예를 들어 block_size=16에서 53.4%로, DropBlock 없이 47.2%에서 상승한다.