[논문 리뷰] Time for a Background Check! Uncovering the impact of Background Features on Deep Neural Networks

Vikash Sehwag, Rajvardhan Oak외 2명|arXiv (Cornell University)|2020. 06. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 배경 특징이 이미지 분류에서 딥 네ural 네트워크(DNN) 성능에 미치는 영향을 조사한다. 전경 콘텐츠를 마스킹하거나 배경을 무작위 무늬로 교체함으로써, 저자들은 최신 DNN가 모델 용량이 증가함에 따라 정확한 예측을 위해 점점 더 배경 상관관계에 의존함을 보여주지만, 동시에 배경이 변경되어도 높은 성능를 유지함으로써 배경 의존성과 불변성 사이의 복잡한 상충관계를 보여준다.

ABSTRACT

With increasing expressive power, deep neural networks have significantly improved the state-of-the-art on image classification datasets, such as ImageNet. In this paper, we investigate to what extent the increasing performance of deep neural networks is impacted by background features? In particular, we focus on background invariance, i.e., accuracy unaffected by switching background features and background influence, i.e., predictive power of background features itself when foreground is masked. We perform experiments with 32 different neural networks ranging from small-size networks to large-scale networks trained with up to one Billion images. Our investigations reveal that increasing expressive power of DNNs leads to higher influence of background features, while simultaneously, increases their ability to make the correct prediction when background features are removed or replaced with a randomly selected texture-based background.

연구 동기 및 목표

• 딥 네럴 네트워크가 정확한 이미지 분류 예측을 위해 배경 특징에 얼마나 의존하는지 평가하는 것.
• 모델 표현력이 증가함에 따라 배경 상관관계에 대한 의존성이 증가하는지 평가하는 것.
• DNN이 배경 불변성—즉, 배경이 교체되거나 마스킹된 경우에도 정확도를 유지하는지 평가하는 것.
• 현재의 학습 프레임워크가 강건한 의미 기반 표현을 유도하는지, 아니면 데이터셋 편향을 악용하게 하는지 평가하는 것.

제안 방법

• ImageNet 테스트 이미지의 전경 콘텐츠를 마스킹하여 배경 특징만을 사용해 상위-1 및 상위-5 정확도를 평가한다.
• 전경 콘텐츠를 유지하면서 원래의 배경을 인공 배경(백색, 무늬 기반, 가우시안 노이즈, 균일 노이즈)으로 교체한다.
• 작은 아키텍처(예: Howard et al.)에서부터 최대 10억 장의 이미지로 훈련된 대규모 모델에 이르기까지 32종의 다양한 DNN을 평가한다.
• 배경 교체 후 성능 저하를 측정하여 배경 영향력과 불변성을 정량화한다.
• 재현 가능성을 확보하고 분산을 줄이기 위해 세 번의 랜덤 실행 평균 정확도를 보고한다.
• 일반화 가능성 평가를 위해 ImageNet, VOC12, Caltech101 등 여러 데이터셋에서 결과를 분석한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크가 정확한 이미지 분류 예측을 위해 배경 특징에 얼마나 의존하는가?
• RQ2 모델 표현력이 증가함에 따라 네트워크의 배경 특징에 대한 의존성은 어떻게 변화하는가?
• RQ3 이미지의 배경을 교체하면 DNN 성능이 크게 떨어지며, 이 떨어짐은 모델 용량 증가에 따라 감소하는가?
• RQ4 전경이 마스킹된 경우에도 DNN이 높은 정확도를 유지할 수 있는가—이는 배경과의 강한 상관관계를 시사하는가?
• RQ5 현재의 학습 프레임워크는 배경 불변 표현을 충분히 학습시키기에 충분한가, 아니면 데이터셋 편향을 악용하게 하는가?

주요 결과

• 전경이 마스킹된 상태에서도 최신 DNN는 배경 특징만으로도 비현저한 상위-1 정확도를 달성한다(예: ResNet-18은 ImageNet에서 약 50%의 정확도를 기록)—이는 배경 콘텐츠와의 강한 상관관계를 시사한다.
• 배경 전용 이미지에서의 상위-1 정확도는 모델 표현력이 증가함에 따라 증가하며, 이는 더 큰 네트워크가 배경 상관관계를 더 효과적으로 활용함을 보여준다.
• 배경을 백색 또는 무늬 기반 이미지로 교체하면 테스트 정확도가 크게 떨어진다—예를 들어, 원본 ImageNet 이미지에서 95%에서 백색 배경을 가진 VOC12에서는 75%로 감소한다.
• 배경 교체 후 성능 격차는 모델 용량 증가에 따라 감소하며, 이는 더 큰 네트워크가 배경 변화에 더 강건함을 시사한다.
• Caltech101의 경우, 원본 이미지에서 정확도가 94%에서 백색 배경일 경우 85%로 떨어지고, 무늬 기반 배경일 경우 74%로 감소하여, 다양한 데이터셋에서 일관된 성능 저하가 확인된다.
• 일부 이미지에 대해서는 더 큰 네트워크가 전경이 마스킹된 상태에서 배경 특징만으로도 정확하게 분류할 수 있으며, 이는 더 작은 네트워크가 실패하는 상황에서도 배경에 의존하는 일반화가 깊이 있는 모델에서 나타남을 시사한다.