[논문 리뷰] Effects of Degradations on Deep Neural Network Architectures

Prasun Roy, Subhankar Ghosh외 2명|arXiv (Cornell University)|2018. 07. 26.

Advanced Neural Network Applications참고 문헌 18인용 수 51

한 줄 요약

이 논문은 여섯 가지 깊은 신경망 구조(VGG-16, VGG-19, ResNet-50, Inception-v3, MobileNet, CapsuleNet)가 여섯 가지 이미지 저하 모델하에서 어떻게 수행되는지 분석하고, NTT 층과 V-CapsNet 융합 아키텍처를 포함한 강건성 향상 방법을 제안합니다.

ABSTRACT

Deep convolutional neural networks (CNN) have massively influenced recent advances in large-scale image classification. More recently, a dynamic routing algorithm with capsules (groups of neurons) has shown state-of-the-art recognition performance. However, the behavior of such networks in the presence of a degrading signal (noise) is mostly unexplored. An analytical study on different network architectures toward noise robustness is essential for selecting the appropriate model in a specific application scenario. This paper presents an extensive performance analysis of six deep architectures for image classification on six most common image degradation models. In this study, we have compared VGG-16, VGG-19, ResNet-50, Inception-v3, MobileNet and CapsuleNet architectures on Gaussian white, Gaussian color, salt-and-pepper, Gaussian blur, motion blur and JPEG compression noise models.

연구 동기 및 목표

• 여섯 가지 최첨단 아키텍처의 일반적인 이미지 저하에 대한 강건성 평가.
• 과도한 계산 비용 없이 강건성 향상 방법 도입.
• 잡음 및 적대적 노이즈 perturbation 하에서 강건성 향상 블록이 성능에 미치는 영향 평가.
• 이미지 저하에 대한 강건성 벤치마크를 위한 데이터셋과 벤치마크 제공

제안 방법

• 정상 데이터에서 여섯 가지 아키텍처를 학습하고 점진적으로 저하된 검증 데이터에서 평가.
• 여섯 가지 저하 모델 사용: Gaussian white, Gaussian color, salt-and-pepper, Gaussian blur, motion blur, and JPEG compression.
• 강건성 향상을 위해 깊이별 비학습 필터(depthwise nontrainable filter) 뒤에 깊이별 학습 가능 필터(depthwise trainable filter)가 위치한 NTT (Nontrainable-Trainable) 층 도입.
• VGG-19의 컨볼루션 층을 CapsuleNet에 융합하여 성능을 향상시키는 V-CapsNet 개발.
• FGSM을 사용한 적대적扰动에 대한 강건성 분석 및 NTT 층이 강건성과 인지 품질에 미치는 영향 연구.
• 노이즈가 있는 상태와 없는 상태의 특징 맵 변화를 SSIM으로 평가하여 CapsuleNet과 더 깊은 CNN 간의 깊이 관련 강건성 이해

실험 결과

연구 질문

• RQ1 여섯 가지 깊은 아키텍처가 합성 숫자 데이터셋과 자연 이미지 데이터셋에서 일반적인 이미지 저하에 어떻게 반응하는가?
• RQ2 아키텍처 수정(NTT 층, V-CapsNet 융합)이 강건성을 개선하면서 베이스라인 정확도 저하를 심하지 않게 할 수 있는가?
• RQ3 네트워크 깊이와 노이즈에 대한 강건성의 관계는 무엇인가, 특히 CapsuleNet 대 CNN들에 대해?
• RQ4 이 아키텍처들이 적대적扰动 하에서 어떻게 작동하는가, 그리고 강건성 블록은 어떤 방어 행태를 보이는가?

주요 결과

• CapsuleNet은 특히 더 높은 노이즈 밀도에서 가산적 가우시안 노이즈에 대해 CNN에 비해 뚜렷한 강건성을 보인다.
• VGG 기반 네트워크는 ResNet, Inception, MobileNet 등의 더 깊은 CNN보다 가우시안 노이즈 하에서 대체로 더 완만하게 성능이 저하된다.
• 가우시안 블러 및 모션 블러는 CNN 성능을 감소시키며, VGG-16/VGG-19는 블러 저하에서 더 깊은 아키텍처보다 자주 더 잘 수행한다.
• JPEG 압축은 품질 q>20 이상에서 영향이 제한적이지만, q≤20일 때 ResNet과 MobileNet은 급격하게 저하하는 반면 VGG, Inception, CapsuleNet은 더 강건성을 유지한다.
• NTT 층은 모든 아키텍처에서 저하에 대한 강건성을 크게 향상시키며, 베이스라인 정확도에는 어느 정도의 트레이드오프가 있다.
• V-CapsNet 융합 아키텍처는 깨끗한 데이터에서 가장 높은 정확도를 달성하지만 저하에 대한 강건성은 CapsuleNet 단독보다 빨리 감소한다.
• 더 깊은 네트워크는 노이즈扰动에 더 민감한 경향이 있다; CapsuleNet의 얕은 깊이가 노이즈 회복력에 기여한다.
• 적대적 강건성 결과에서 CapsuleNet과 VGG는 성능이 저조한 편인 반면, ResNet-50, Inception-v3, MobileNet, V-CapsNet은 FGSM에 대한 저항이 더 좋으며 NTT가 적대적 다이나믹에 영향을 준다.