[논문 리뷰] Distortion Robust Image Classification with Deep Convolutional Neural Network based on Discrete Cosine Transform

Tahmid Hossain, Shyh Wei Teng외 3명|arXiv (Cornell University)|2018. 11. 14.

Image Processing Techniques and Applications인용 수 3

한 줄 요약

이 논문은 이산余弦변환(DCT) 기반으로 설계된 왜곡 내성(convolutional neural network) 모듈인 DCT-Net을 제안한다. 이 모듈은 다양한 종류의 왜곡 하에서 이미지 분류 성능을 향상시키며, 왜곡 유형이나 수준에 대한 사전 지식 없이 학습 과정에서 고주파 성분을 선택적으로 제거함으로써, 미리 보지 못한 왜곡에 대해서도 효과적으로 일반화되며, CIFAR-10/100 및 ImageNet 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Convolutional Neural Network is good at image classification. However, it is found to be vulnerable to image quality degradation. Even a small amount of distortion such as noise or blur can severely hamper the performance of these CNN architectures. Most of the work in the literature strives to mitigate this problem simply by fine-tuning a pre-trained CNN on mutually exclusive or a union set of distorted training data. This iterative fine-tuning process with all known types of distortion is exhaustive and the network struggles to handle unseen distortions. In this work, we propose distortion robust DCT-Net, a Discrete Cosine Transform based module integrated into a deep network which is built on top of VGG16. Unlike other works in the literature, DCT-Net is blind to the distortion type and level in an image both during training and testing. As a part of the training process, the proposed DCT module discards input information which mostly represents the contribution of high frequencies. The DCT-Net is trained blindly only once and applied in generic situation without further retraining. We also extend the idea of traditional dropout and present a training adaptive version of the same. We evaluate our proposed method against Gaussian blur, motion blur, salt and pepper noise, Gaussian noise and speckle noise added to CIFAR-10/100 and ImageNet test sets. Experimental results demonstrate that once trained, DCT-Net not only generalizes well to a variety of unseen image distortions but also outperforms other methods in the literature.

연구 동기 및 목표

• 블러와 노이즈와 같은 이미지 품질 악화에 취약한 딥 CNN의 문제를 해결한다.
• 기존 방법들이 알려진 왜곡 유형에 대해 광범위한 미세조정을 필요로 하는 한계를 극복한다.
• 다양하고 알려지지 않은 왜곡에 대해 일반화되는 단일의 일반적이고 학습 가능한 모듈을 개발한다.
• 학습 및 추론 과정에서 왜곡 유형과 수준에 관계없이 맹목적으로 작동하는 DCT 기반 모듈을 도입한다.
• 왜곡 아티팩트와 관련된 고주파 성분을 필터링하여 일반화 능력을 향상시킨다.

제안 방법

• 분류 전에 입력 특징을 전처리하기 위해 VGG16 아키텍처에 DCT 기반 모듈(DCT-Net)을 통합한다.
• 입력 특징 맵에 DCT를 적용하여 주파수 성분으로 분해하고, 저주파 성분을 강조한다.
• 학습 중에 고주파 성분을 제거하여 왜곡 관련 아티팩트에 대한 민감도를 낮춘다.
• 왜곡 유형이나 수준에 대한 지도 없이 한 번의 맹목적 학습을 통해, 알려지지 않은 왜곡에 대한 일반화를 가능하게 한다.
• 학습 동적 특성에 따라 정규화를 동적으로 조정하는 훈련 적응형 드롭아웃의 변종을 도입한다.
• 청결한 데이터와 왜곡된 데이터에서 DCT-Net 모듈과 분류 헤드를 동시에 최적화하기 위해 엔드 투 엔드 학습을 사용한다.

실험 결과

연구 질문

• RQ1 왜곡 유형이나 수준에 대한 사전 지식 없이 DCT 기반 모듈이 다양한 이미지 왜곡에 대해 딥 CNN의 내성을 향상시킬 수 있는가?
• RQ2 학습 중에 고주파 성분을 필터링하면 알려지지 않은 왜곡에 대한 일반화 능력이 향상되는가?
• RQ3 다양한 왜곡 유형 하에서 기존의 미세조정된 모델과 비교해 본다면, 제안된 DCT-Net은 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ4 단일의 통합 DCT-Net 모듈이 여러 왜곡 시나리오에서 작업별로 미세조정된 모델들을 능가할 수 있는가?
• RQ5 DCT-Net 내의 적응형 드롭아웃 메커니즘은 학습 중 일반화 및 내성을 향상시키는 데 기여하는가?

주요 결과

• DCT-Net은 가우시안 블러, 모션 블러, 솔트 앤 페퍼 노이즈, 가우시안 노이즈, 스펙클 노이즈 하에서 CIFAR-10 및 CIFAR-100에서 뛰어난 성능을 기록한다.
• 재학습 없이도 알려지지 않은 왜곡에 효과적으로 일반화되며, 훈련 분포를 초월한 내성을 입증한다.
• 각 왜곡 유형에 대해 반복적인 미세조정이 필요한 기존 방법들을 능가한다.
• DCT 기반 필터링 메커니즘이 고주파 노이즈와 블러 아티팩트에 대한 민감도를 효과적으로 감소시킨다.
• 훈련 적응형 드롭아웃 구성 요소는 학습 중 일반화 능력과 안정성을 향상시키는 데 기여한다.
• 다양한 왜곡이 가해진 입력에서도 ImageNet에서 높은 정확도를 유지하여, 대규모 데이터셋으로의 확장성도 확인한다.