[논문 리뷰] DeepCorrect: Correcting DNN models against Image Distortions

Tejas Borkar, Lina J. Karam|arXiv (Cornell University)|2017. 05. 05.

Advanced Image Processing Techniques인용 수 11

한 줄 요약

DeepCorrect는 블러와 노이즈와 같은 이미지 왜곡에 대해 딥 네ural 네트워크(DNN)의 강건성을 향상시키기 위해 왜곡에 가장 민감한 컨볼루션 필터를 식별하고 보정하는 방법을 제안한다. 이는 이러한 필터에 경량 잔차 보정 유닛을 부착하여 구현되며, 전체 네트워크 재학습 없이도 훈련 가능한 파rameter 수가 현저히 적고 추론 비용이 거의 증가하지 않는 우수한 성능을 달성한다.

ABSTRACT

In recent years, the widespread use of deep neural networks (DNNs) has facilitated great improvements in performance for computer vision tasks like image classification and object recognition. In most realistic computer vision applications, an input image undergoes some form of image distortion such as blur and additive noise during image acquisition or transmission. Deep networks trained on pristine images perform poorly when tested on such distortions. In this paper, we evaluate the effect of image distortions like Gaussian blur and additive noise on the activations of pre-trained convolutional filters. We propose a metric to identify the most noise susceptible convolutional filters and rank them in order of the highest gain in classification accuracy upon correction. In our proposed approach called DeepCorrect, we apply small stacks of convolutional layers with residual connections, at the output of these ranked filters and train them to correct the worst distortion affected filter activations, whilst leaving the rest of the pre-trained filter outputs in the network unchanged. Performance results show that applying DeepCorrect models for common vision tasks like image classification (ImageNet), object recognition (Caltech-101, Caltech-256) and scene classification (SUN-397), significantly improves the robustness of DNNs against distorted images and outperforms other alternative approaches..

연구 동기 및 목표

• 사전 훈련된 DNN의 모든 컨볼루션 필터가 가우시안 블러 및 추가적 백색 가우시안 노이즈(AWGN)와 같은 이미지 왜곡에 동일하게 취약한지 조사하기.
• 개별 컨볼루션 필터의 입력 왜곡에 대한 취약도를 정량화하고 순위를 매길 수 있는 메트릭을 개발하기.
• 전체 네트워크 재학습 없이도 가장 왜곡에 영향을 받는 필터 활성화를 경량 가속 가능한 보정 유닛을 사용해 보정하기.
• 청결한 이미지에서 높은 성능을 유지하면서도 특히 심각한 왜곡 상황에서의 강건성을 크게 향상시키기.
• 분리 가능한 컨볼루션을 사용한 랭크 제약 근사 기법을 통해 보정 유닛의 계산 비용을 줄여 근접 실시간 추론을 가능하게 하기.

제안 방법

• 사전 훈련된 DNN 필터 활성화에 가우시안 블러와 AWGN의 영향을 평가하여 왜곡에 민감한 필터를 식별하기.
• 왜곡 하에서 활성화 분산과 분류 정확도 저하를 기반으로 한 취약도 메트릭을 제안하여 필터의 취약도 순위를 매기기.
• 상위 순위 필터의 왜곡된 활성화를 복원하도록 설계된 잔차 연결이 있는 컨볼루션 레이어 스택으로 구성된 보정 유닛 설계하기.
• 가장 취약한 필터에만 보정 유닛을 부착하고, 나머지 사전 훈련된 네트워크 가중치는 동결하여 원래 특징를 유지하기.
• 깊이 분리 가능한 컨볼루션(예: 3×1 및 1×3 커널)을 사용한 랭크 제약 근사를 적용하여 FLOPs를 줄이고 추론 효율성 유지하기.
• 왜곡된 입력에서의 분류 오차를 최소화하면서도 청결한 이미지 정확도를 유지하는 목표 지향적 손실을 사용해 보정 유닛 훈련하기.

실험 결과

연구 질문

• RQ1 사전 훈련된 DNN의 모든 컨볼루션 필터가 블러 및 노이즈와 같은 이미지 왜곡에 동일하게 취약한가?
• RQ2 정량화 가능한 메트릭을 사용해 개별 필터의 입력 왜곡에 대한 취약도를 정확하게 측정하고 순위를 매길 수 있는가?
• RQ3 전체 네트워크 재학습 없이도 가장 왜곡에 민감한 필터 출력만 보정하면 성능 향상이 크게 이루어지는가?
• RQ4 랭크 제약이 적용된 경량 보정 유닛이 강건성을 향상시키면서도 높은 추론 효율성을 유지할 수 있는가?
• RQ5 제안된 방법은 테스트 테이닝 및 안정성 훈련과 비교해 정확도, 파rameter 효율성, 추론 비용 측면에서 어떻게 성과를 내는가?

주요 결과

• ImageNet에서 DeepCorrect는 가우시안 블러에 대해 3.2% 향상, AWGN에 대해 1.47% 향상, 운동 블러에 대해 4.86% 향상, 초점 해상도 블러에 대해 6.95% 향상, 카메라 진동 블러에 대해 5% 향상하여 테스트 테이닝을 초월한다.
• Deepcorr-b 버전은 테스트 테이닝보다 50% 적은 파arameter를 사용하며, 가우시안 블러에 대해 3.95% 향상, 카메라 진동 블러에 대해 5.36% 향상하여 테스트 테이닝을 초월한다.
• 랭크 제약이 적용된 Deepcorr-rc 모델은 테스트 테이닝 및 안정성 훈련을 초월하는 성능을 보이며, FLOPs는 5.1×10⁷로 기준 ResNet18과 유사하다.
• Deepcorr-rc는 원본 ResNet18과 거의 동일한 추론 비용을 유지하며, 전체 네트워크를 저랭크 레이어로 교체한 경우 대비 FLOPs가 30% 감소한다.
• 왜곡에 영향을 받는 필터에 대해 훈련된 보정 유닛은 청결한 이미지 성능을 떨어뜨리지 않으면서도 강건성을 크게 향상시킨다.
• 이 방법은 분류를 넘어서 객체 검출 및 세그멘테이션에도 일반화 가능하며, 적대적 노이즈와 같은 다른 노이즈 유형에도 적용 가능하다.