[논문 리뷰] Improving Image Classification Robustness through Selective CNN-Filters Fine-Tuning

Alessandro Bianchi, Moreno Raimondo Vendra외 2명|arXiv (Cornell University)|2019. 04. 08.

Advanced Neural Network Applications참고 문헌 25인용 수 8

한 줄 요약

이 논문은 깊이 신경망의 이미지 왜곡에 대한 강건성을 향상시키기 위해 가장 왜곡에 취약한 합성곱 필터만을 식별하고 재학습하는 선택적 필터 피니튜닝 방법을 제안한다. 정제된 이미지와 왜곡된 이미지 간의 활성화 맵 거리에 기반한 Borda 순위 방법을 사용하여, 전체 피니튜닝에 비해 훨씬 적은 파라미터로 유사한 성능을 달성한다. 특히 레이블이 붙은 노이즈가 있는 데이터가 제한적인 경우에 매우 효과적이다.

ABSTRACT

Image quality plays a big role in CNN-based image classification performance. Fine-tuning the network with distorted samples may be too costly for large networks. To solve this issue, we propose a transfer learning approach optimized to keep into account that in each layer of a CNN some filters are more susceptible to image distortion than others. Our method identifies the most susceptible filters and applies retraining only to the filters that show the highest activation maps distance between clean and distorted images. Filters are ranked using the Borda count election method and then only the most affected filters are fine-tuned. This significantly reduces the number of parameters to retrain. We evaluate this approach on the CIFAR-10 and CIFAR-100 datasets, testing it on two different models and two different types of distortion. Results show that the proposed transfer learning technique recovers most of the lost performance due to input data distortion, at a considerably faster pace with respect to existing methods, thanks to the reduced number of parameters to fine-tune. When few noisy samples are provided for training, our filter-level fine tuning performs particularly well, also outperforming state of the art layer-level transfer learning approaches.

연구 동기 및 목표

• 사전 훈련된 CNN 모델이 왜곡된 이미지에서 분류 정확도가 떨어지는 문제를 해결하기 위해, 이는 데이터셋 이동으로 인한 일반적인 문제이므로.
• 블러나 추가 노이즈와 같은 이미지 왜곡에 대해 CNN 내에서 가장 민감한 합성곱 필터를 식별하기 위해.
• 가장 왜곡에 취약한 필터들만 피니튜닝하는 전이 학습 방법을 개발하여, 파라미터 업데이트 수와 학습 비용을 줄이기 위해.
• 정제된 노이즈 이미지 쌍이 가용하지 않은 상황에서도 강건성 향상을 가능하게 하여, 실제 환경에 적용 가능성을 넓히기 위해.

제안 방법

• 정제된 이미지와 왜곡된 이미지의 활성화 맵 간의 거리를 기반으로, Borda 순위 방법을 사용하여 필터의 왜곡에 대한 민감도를 순위 매김한다.
• 거리 척도는 동일한 레이어에서 정제된 이미지와 왜곡된 이미지의 특징 맵 간의 L2 노름을 계산하여, 필터 민감도를 정량화한다.
• 각 레이어에서 상위 25%의 필터—즉, 활성화 맵 거리가 가장 큰 필터들—만을 선택하여 피니튜닝 대상으로 한다. 이로써 학습 가능한 파라미터의 수를 최소화한다.
• 정제된 이미지와 노이즈가 있는 이미지 간의 대응 관계가 필요 없이 작동하므로, 비대응 설정에서도 적용 가능하다.
• 선택된 필터들만에 대해 피니튜닝이 적용되며, 네트워크의 나머지 부분은 사전 훈련된 가중치를 유지한다.
• 모델로 All-Conv Net과 ResNet-18을 사용하여, CIFAR-10과 CIFAR-100 데이터셋에 대해 AWGN 및 블러 왜곡에 대해 평가한다.

실험 결과

연구 질문

• RQ1 CNN 내에서 블러나 추가 백색 가우시안 노이즈와 같은 이미지 왜곡에 가장 취약한 합성곱 필터는 무엇인가?
• RQ2 정제된 이미지와 노이즈가 있는 이미지 쌍 간의 대응 관계 없이도, 필터 수준의 민감도를 신뢰성 있게 평가할 수 있는가?
• RQ3 레이블이 붙은 노이즈가 있는 데이터가 제한적인 상황에서, 가장 왜곡에 취약한 필터들만 피니튜닝하는 것이 전체 레이어 피니튜닝보다 성능이 뛰어나게 되는가?
• RQ4 선택적 필터 피니튜닝은 정확도와 학습 효율성 측면에서 최신의 레이어 수준 전이 학습 기법보다 어떻게 비교되는가?
• RQ5 제안된 방법은 표준 피니튜닝이나 추가 보정 모듈에 비해 훨씬 적은 학습 가능한 파라미터로 강건성을 달성할 수 있는가?

주요 결과

• 이 방법은 이미지 왜곡으로 인해 손실된 대부분의 성능을 복구하여, 전체 피니튜닝과 유사한 분류 정확도를 달성한다.
• AWGN(σ=15) 와 함께 CIFAR-100에서, 레이블이 붙은 노이즈가 있는 훈련 데이터가 10%에 불과할 때도 선택적 피니튜닝 접근법이 표준 피니튜닝을 능가했다.
• 전체 레이어 피니튜닝 대비 재학습이 필요한 필터 수가 최대 75% 감소하여 학습 비용을 크게 낮췄다.
• 비대응 버전의 방법—이미지 픽셀이나 압축된 특징 맵을 사용—은 기준 대조군 대비 평균 13~19개의 매칭 필터를 각 레이어에서 확보하여 강한 일관성을 보였다.
• 충분한 노이즈가 있는 데이터가 가용할 경우, 전체 피니튜닝과 유사한 성능을 달성했으며, 더 빠른 수렴 속도를 유지했다.
• 정제된 노이즈 이미지 쌍의 부재에도 불구하고 이 방법은 실제 환경에서 이러한 쌍이 확보되지 않는 상황에서도 적용 가능함을 보였다.