[논문 리뷰] DropCluster: A structured dropout for convolutional networks

Liyan Chen, Philip Gautier외 1명|arXiv (Cornell University)|2020. 02. 07.

Advanced Neural Network Applications참고 문헌 30인용 수 7

한 줄 요약

DropCluster는 컨volution 신경망을 위한 데이터 기반의 구조적 드롭아웃 방법으로, 특성 맵 내 상관관계가 있는 특성의 공간 클러스터를 학습하고 훈련 중에 전체 클러스터를 드롭하여 정규화를 향상시킨다. CIFAR-100과 Tiny ImageNet에서 DropBlock 및 기타 구조적 드롭아웃 변종보다 뛰어난 정확도를 보이며, 적은 훈련 데이터 세트에 대한 강건성과 악성 훈련 없이도 데이터 오염에 대한 저항성을 보여준다.

ABSTRACT

Dropout as a common regularizer to prevent overfitting in deep neural networks has been less effective in convolutional layers than in fully connected layers. This is because Dropout drops features randomly, without considering local structure. When features are spatially correlated, as in the case of convolutional layers, information from the dropped features can still propagate to subsequent layers via neighboring features. To address this problem, structured forms of Dropout have been proposed. A drawback of these methods is that they do not adapt to the data. In this work, we leverage the structure in the outputs of convolutional layers and introduce a novel structured regularization method named DropCluster. Our approach clusters features in convolutional layers, and drops the resulting clusters randomly during training iterations. Experiments on CIFAR-10/100, SVHN, and APPA-REAL datasets demonstrate that our approach is effective and controls overfitting better than other approaches.

연구 동기 및 목표

• 공간적 특성 상관관계로 인해 표준 드롭아웃의 효과가 제한되는 컨볼루션 레이어 문제 해결
• 고정된 구조의 정규화 기법인 DropBlock과 같은 유연하지 못한 드롭 패턴을 갖는 정규화 기법의 한계 극복
• 데이터 부족 및 분포 이탈 상황에서 동적이고 데이터에 적응하는 클러스터 구조를 학습하여 모델의 일반화 능력과 강건성 향상
• 훈련 중에 모델 가중치와 데이터 분포에 적응하는 방법 개발을 통해 CNN의 정규화 향상

제안 방법

• 컨볼루션 레이어 활성화에서 공간적으로 상관관계가 있는 특성 클러스터를 식별하기 위해 재귀적 근접 응집(ReNA) 클러스터링 적용
• 학습 중에 주기적으로 클러스터를 학습하고 업데이트하여 변화하는 특성 표현과 데이터 패턴에 적응
• 과잉 상관관계가 있는 정보를 방해하기 위해 훈련 중에 전체 클러스터의 특성 드롭
• 감지 가능한 클러스터 구조가 없는 채널의 경우 전체 채널 드롭으로 과적합 방지
• 클러스터 경향성을 클러스터링 알고리즘과 클러스터 수에 관계없이 정량적으로 평가하기 위해 공간 Hopkins 통계량 사용
• 표준 훈련 프rotocol을 사용하여 ResNet-50 아키텍처에 통합하고, 다양한 데이터셋과 설정에서 성능 평가

실험 결과

연구 질문

• RQ1 고정된 구조의 대안 대비 데이터 기반의 적응형 구조적 드롭아웃 방법이 컨볼루션 신경망의 일반화 능력을 향상시킬 수 있는가?
• RQ2 작은 훈련 데이터 세트 환경에서 DropCluster의 성능은 DropBlock 및 StochasticDepth와 비교해 어떻게 되는가?
• RQ3 일반적인 데이터 오염, 예를 들어 노이즈와 블러에 대해 DropCluster는 테스트 입력에서 얼마나 강건한가?
• RQ4 데이터에 적응하는 클러스터링 메커니즘을 사용할 경우, 아키텍처 기반 또는 고정 패턴 드롭아웃보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ5 공간 Hopkins 통계량은 다양한 레이어와 데이터셋에서 특성 맵의 클러스터 경향성을 신뢰성 있게 감지할 수 있는가?

주요 결과

• 완전한 훈련 데이터로 Tiny ImageNet을 사용할 경우, DropCluster는 66.26%의 Top-1 정확도를 기록하여 DropBlock(65.59%) 및 모든 기준 모델을 능가했다.
• 작은 훈련 데이터 설정에서 DropCluster는 10% 훈련 데이터 조건에서도 57.92%의 Top-1 정확도를 기록하여 StochasticDepth의 29.04%보다 뛰어난 강건성을 유지했다.
• 심도 수준 1의 오염 조건에서, Gaussian 노이즈에 대해 DropCluster는 62.57%의 Top-1 정확도를 기록하여 DropBlock(61.25%) 및 StochasticDepth(62.08%)를 모두 앞섰다.
• DropCluster는 모든 오염 유형에서 Top-5 정확도 향상을 일관되게 보였으며, 특히 디포커스 블러(78.94%)와 글라스 블러(75.23%)에서 최고의 점수를 기록했다.
• 공간 Hopkins 통계량은 특성 맵에서 유의미한 클러스터 경향성을 확인하여 클러스터 기반 정규화의 타당성을 입증했다.
• DropCluster는 악성 훈련 없이도 다른 방법보다 더 나은 일반화 능력을 보였으며, 분포 이탈 및 데이터 오염에 대한 내재된 강건성을 시사했다.