[논문 리뷰] Fidelity Estimation Improves Noisy-Image Classification With Pretrained Networks

Xiaoyu Lin, Deblina Bhattacharjee외 2명|arXiv (Cornell University)|2021. 06. 01.

Image Processing Techniques and Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 사전 훈련된 컨volutional 네트워크를 사용하여 노이즈가 있는 이미지 분류를 향상시키기 위해 내부 표현에 학습된 피드백 지도를 융합하는 FG-NIC를 제안한다. 피드백 지도는 복원된 이미지와 정제된 이미지 간의 ℓ1 거리 기반으로 추정되며, 복원 품질에 대한 신뢰도를 반영하여 주의를 유도함으로써 노이즈에 대한 강건성을 향상시킨다. 이는 특히 높은 노이즈 수준에서 전체적으로 재훈련된 모델에 가까운 성능을 달성하면서도 기존 분류기의 재훈련 없이 즉시 사용할 수 있도록 한다.

ABSTRACT

Image classification has significantly improved using deep learning. This is mainly due to convolutional neural networks (CNNs) that are capable of learning rich feature extractors from large datasets. However, most deep learning classification methods are trained on clean images and are not robust when handling noisy ones, even if a restoration preprocessing step is applied. While novel methods address this problem, they rely on modified feature extractors and thus necessitate retraining. We instead propose a method that can be applied on a $pretrained$ classifier. Our method exploits a fidelity map estimate that is fused into the internal representations of the feature extractor, thereby guiding the attention of the network and making it more robust to noisy data. We improve the noisy-image classification (NIC) results by significantly large margins, especially at high noise levels, and come close to the fully retrained approaches. Furthermore, as proof of concept, we show that when using our oracle fidelity map we even outperform the fully retrained methods, whether trained on noisy or restored images.

연구 동기 및 목표

• 사전 훈련된 모델을 재훈련하지 않고도 노이즈가 있는 입력에 대한 이미지 분류 성능을 향상시키는 것.
• 노이즈 또는 열악한 품질의 이미지에 적용했을 때 딥러닝 분류기의 강건성 격차를 해결하는 것.
• 기존의 사전 훈련된 분류기를 노이즈가 있는 이미징 환경에서 모듈러하게 배포할 수 있도록 하는 것.
• 이미지 복원 품질에 기반해 네트워크 주의를 유도할 수 있는 피드백 지도를 개발하는 것.
• 피드백 유도 특징 조정이 전체 재훈련 모델에 맞먹거나 이를 초월할 수 있음을 보여주는 것.

제안 방법

• 복원된 이미지와 정제된 기준 이미지 간의 ℓ1 거리 기반으로 데이터 피드백 지도를 추정하여 복원 품질에 대한 픽셀 단위의 신뢰도를 표현한다.
• 노이즈가 있는 입력에서 이 피드백 지도를 예측하기 위해 딥 네트워크를 훈련시키며, 엔드 투 엔드 학습 또는 외부 추정이 가능하다.
• 피드백 지도는 다중 레이어에서 가중치 학습이 가능한 곱셈 및 덧셈 주의 메커니즘을 통해 특징 추출기의 내부 표현에 공간적으로 융합된다.
• 융합 과정은 요소별 곱셈과 덧셈을 사용하여 노이즈 영역에서 신뢰할 수 없는 특징을 억제할 수 있도록 한다.
• 가중치가 고정된 사전 훈련된 분류기에 적용되어 재훈련 없이 즉시 사용할 수 있도록 한다.
• 아웃라이어의 영향에 강건한 성능을 보이기 위해 추론 성능의 이론적 상한선을 확인하기 위해 오라클 피드백 지도(참값)를 추론 분석에 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 이미지 분류기를 재훈련하지 않고도 노이즈가 있는 입력에 대해 강건하게 만들 수 있는가?
• RQ2 학습된 피드백 지도가 특징 추출기의 주의를 유도하여 노이즈가 있는 이미지에서의 분류 성능을 향상시킬 수 있는가?
• RQ3 피드백 유도 특징 융합 방식은 노이즈가 있는 이미지 분류에서 전체 재훈련 모델과 비교해 어떻게 성능을 내는가?
• RQ4 피드백 지도가 더 높은 노이즈 수준에서 성능 향상에 더 크게 기여하는가?
• RQ5 사전 훈련된 분류기를 사용하는 즉시 사용 가능한 방법이 아키텍처 재설계나 재훈련이 필요한 방법보다 성능이 뛰어나게 되는가?

주요 결과

• FG-NIC는 특히 높은 노이즈 수준(σ = 0.5)에서 큰 폭으로 분류 정확도를 향상시켰으며, ResNet-50를 사용한 Caltech-101에서 75.39%의 정확도를 달성했다.
• 기본 사전 훈련된 모델이 복원된 이미지에서 테스트한 결과(σ = 0.1일 때 80.17% 대 77.99%)를 뛰어넘었으며, 전체 재훈련 모델과 경쟁 수준에 이르렀다.
• 오라클 피드백 지도를 사용할 경우, σ = 0.5일 때 Caltech-101에서 89.02%의 정확도를 기록하여 모든 전체 재훈련 모델을 초월했다.
• 추론 분석 결과, 공간적 곱셈 및 덧셈 메커니즘이 핵심임을 확인했으며, 이들을 제거하면 높은 노이즈에서 정확도가 최대 3.5% 감소했다.
• 계산 비용이 효율적이며, 추가로 10.49M개의 학습 가능한 파라미터와 0.08억 개의 MACs만 추가하여 배포에 적합하다.
• 노이즈가 높을수록 이상치에 강건한 특징을 보이기 때문에, ℓ1 거리 기반 피드백 추정 방식이 ℓ2 및 코사인 거리보다 높은 성능을 보였다.