[논문 리뷰] Does enhanced shape bias improve neural network robustness to common corruptions?

Chaithanya Kumar Mummadi, Ranjitha Subramaniam외 4명|arXiv (Cornell University)|2021. 04. 20.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 15

한 줄 요약

이 논문은 강화된 형태 편향이 일반적인 이미지 손상에 대한 딥 네ural 네트워크의 강건성을 향상시키는지 조사한다. 에지 맵과 이미지 스타일화를 활용한 데이터 증강을 통해, 저자들은 형태 편향이 증가하지만 손상 강건성은 주로 스타일화와 같은 강력한 데이터 증강에 의해 결정되며, 형태 편향 자체는 원인이 아니라 부산물임을 발견한다.

ABSTRACT

Convolutional neural networks (CNNs) learn to extract representations of complex features, such as object shapes and textures to solve image recognition tasks. Recent work indicates that CNNs trained on ImageNet are biased towards features that encode textures and that these alone are sufficient to generalize to unseen test data from the same distribution as the training data but often fail to generalize to out-of-distribution data. It has been shown that augmenting the training data with different image styles decreases this texture bias in favor of increased shape bias while at the same time improving robustness to common corruptions, such as noise and blur. Commonly, this is interpreted as shape bias increasing corruption robustness. However, this relationship is only hypothesized. We perform a systematic study of different ways of composing inputs based on natural images, explicit edge information, and stylization. While stylization is essential for achieving high corruption robustness, we do not find a clear correlation between shape bias and robustness. We conclude that the data augmentation caused by style-variation accounts for the improved corruption robustness and increased shape bias is only a byproduct.

연구 동기 및 목표

• 형태 편향이 증가한 CNN에서 블러 및 노이즈와 같은 일반적인 이미지 손상에 대한 강건성이 향상되는지 테스트하기.
• 손상 강건성 향상에 있어 형태 편향과 데이터 증강의 영향을 분리하여 분석하기.
• 형태 기반 표현이 본질적으로 더 강건한지, 아니면 증강으로 인한 더 넓은 데이터 분포 다양성에서 기인하는지 평가하기.
• 정규화 레이어 적응이 재학습 없이도 강건성을 향상시킬 수 있는지 조사하여 네트워크 내부 표현의 적응 가능성 제안하기.

제안 방법

• 이미지넷 이미지에서 유도된 에지 맵으로 CNN을 사전 훈련하여 형태 기반 특징 학습을 장려하고 텍스처 신호를 억제하기.
• 신경적 스타일 전이를 통해 텍스처를 수정하면서도 구조적 형태 정보를 유지하는 이미지 스타일화 적용.
• 에지 맵과 스타일화를 조합하여 텍스처 정보 없이 형태 편향을 극대화한 입력 생성.
• 정규화 레이어의 애핀 매개변수를 균일 분포에서 샘플링하여 스타일 랜덤화를 도입해 형태 편향을 더욱 강화하기.
• ImageNet-C 벤치마크에서 여러 종류의 손상과 심각도에 대해 강건성 측정을 위해 모델 평가.
• 손상된 ImageNet-C 데이터에서 정규화 레이어의 애핀 매개변수만 미세조정하여 내부 표현 적응 가능성 평가.

실험 결과

연구 질문

• RQ1 에지 기반 또는 스타일 기반 데이터 증강을 통해 형태 편향을 높이면 일반적인 이미지 손상에 대한 강건성이 향상되는가?
• RQ2 관찰된 손상 강건성 향상은 강화된 형태 편향 때문인가, 아니면 스타일화로 인한 더 넓은 데이터 증강 때문인가?
• RQ3 정규화 레이어 매개변수만 미세조정하면 손상된 데이터에서 강건성이 향상되는가? 이는 강건한 표현이 네트워크 내부 특징에 코딩되어 있음을 시사하는가?
• RQ4 자연 이미지, 에지 맵, 스타일화된 이미지 및 그 조합과 같은 다양한 입력 구성은 형태 편향과 손상 강건성에 어떻게 영향을 미치는가?

주요 결과

• 에지 맵으로 사전 훈련하면 형태 편향이 크게 증가하지만 손상 강건성은 향상되지 않아, 형태 편향이 강건성의 원인라는 가설과 정면으로 배치된다.
• 스타일 기반 증강(SIN)이 가장 높은 손상 강건성을 달성하지만, 에지만 사용한 사전 훈련(E)은 높은 형태 편향에도 불구하고 성능이 열악하여, 스타일화가 아닌 형태 편향이 핵심 요인임을 시사한다.
• 스타일화된 에지 조합(SE)은 가장 높은 형태 편향을 달성하지만 여전히 SIN보다 낮은 강건성을 보이며, 자연 이미지의 구조를 유지하는 것이 강건성에 매우 중요함을 시사한다.
• 스타일화된 에지를 자연 이미지에 겹쳐 적용한(SE+IN) 조합은 중간 수준의 형태 편향과 SIN보다 略로 높은 강건성을 보이며, 자연 이미지의 구조와 스타일화의 조합이 일반화를 향상시킴을 시사한다.
• 정규화 레이어의 애핀 매개변수만 미세조정해도 모든 종류의 손상에서 강건성이 뚜렷이 향상되며, 합성곱 가중치는 고정된 상태에서도 가능하므로, 강건한 표현이 네트워크의 정규화 레이어에 코딩되어 있음을 시사한다.
• 내부 스타일 전이(intra-stylization)는 외부 분포 스타일 전이와 거의 동일한 효과를 보이며, 핵심 이점은 분포 이탈 자체가 아니라 외관 다양성에 있음을 시사한다.