[논문 리뷰] Exploring the Origins and Prevalence of Texture Bias in Convolutional Neural Networks.

Katherine L. Hermann, Simon Kornblith|arXiv (Cornell University)|2019. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 14

한 줄 요약

이 논문은 ImageNet으로 훈련된 CNN 모델이 형태 기반 분류를 학습할 수 있음에도 불구하고, 텍스처 기반 분류에 강한 편향을 보이는 이유를 조사한다. 데이터 증강, 특히 자연스럽고 덜 공격적인 훈련 증강 기법이 텍스처 편향을 크게 감소시키며, 이로 인해 대부분의 경우 형태 기반 분류가 가능해지고, 분포 외 일반화 능력이 향상됨을 발견한다.

ABSTRACT

Recent work has indicated that, unlike humans, ImageNet-trained CNNs tend to classify images by texture rather than by shape. How pervasive is this bias, and where does it come from? We find that, when trained on datasets of images with conflicting shape and texture, CNNs learn to classify by shape at least as easily as by texture. What factors, then, produce the texture bias in CNNs trained on ImageNet? Different unsupervised training objectives and different architectures have small but significant and largely independent effects on the level of texture bias. However, all objectives and architectures still lead to models that make texture-based classification decisions a majority of the time, even if shape information is decodable from their hidden representations. The effect of data augmentation is much larger. By taking less aggressive random crops at training time and applying simple, naturalistic augmentation (color distortion, noise, and blur), we train models that classify ambiguous images by shape a majority of the time, and outperform baselines on out-of-distribution test sets. Our results indicate that apparent differences in the way humans and ImageNet-trained CNNs process images may arise not primarily from differences in their internal workings, but from differences in the data that they see.

연구 동기 및 목표

• ImageNet으로 훈련된 CNN에서 관찰된 텍스처 편향의 근본 원인을 규명하고자 하며, 이는 인간의 시각 인지가 형태에 더 의존하는 것과 대비된다.
• CNN 모델이 형태 기반 분류를 학습하는 데 본질적으로 불가능한가, 아니면 훈련 데이터 및 절차에서 기인하는 편향인가를 확인하고자 한다.
• 다양한 훈련 목표 함수, 네트워크 아키텍처, 데이터 증강 전략이 텍스처 편향에 미치는 상대적 영향을 평가하고자 한다.
• 모델이 텍스처 기반 예측을 내릴 때조차도 은닉 표현에 형태 정보가 그대로 유지되는지 여부를 확인하고자 한다.
• 효과적인 데이터 증강을 통해 텍스처 편향을 줄임으로써 분포 외 이미지 인식 작업에서의 일반화 능력을 향상시키고자 한다.

제안 방법

• 형태와 텍스처가 충돌하는 신호를 포함한 데이터셋으로 CNN을 훈련시어 형태 기반 분류 능력을 평가하였다.
• 텍스처 편향에 미치는 영향을 독립적으로 측정하기 위해 다양한 비지도 훈련 목표 함수와 네트워크 아키텍처를 평가하였다.
• 다양한 데이터 증강 전략을 적용하였으며, 덜 공격적인 랜덤 크롭, 색상 왜곡, 노이즈, 블러 등이 포함되었다.
• 모호한 형태-텍스처 이미지에서 텍스처 기반 예측 비율을 측정하여 텍스처 편향을 정량화하였다.
• 분포 외 테스트 세트에서의 모델 성능을 평가하여 일반화 향상 여부를 점검하였다.
• 텍스처 기반 예측을 내리는 모델의 은닉 표현을 분석하여 형태 정보가 여전히 복원 가능한지 확인하였다.

실험 결과

연구 질문

• RQ1 형태와 텍스처가 충돌하는 데이터로 훈련된 CNN 모델이 형태 기반 분류를 얼마나 잘 학습할 수 있는가?
• RQ2 다양한 비지도 훈련 목표 함수와 네트워크 아키텍처가 CNN의 텍스처 편향 수준에 어떤 영향을 미치는가?
• RQ3 아키텍처나 목표 함수 선택에 비해 데이터 증강이 텍스처 편향을 줄이는 데 미치는 상대적 영향은 어떠한가?
• RQ4 텍스처 기반 예측을 내리는 모델의 은닉 표현에 여전히 형태 정보가 존재하는가?
• RQ5 효과적인 데이터 증강을 통해 텍스처 편향을 줄이면 분포 외 이미지 인식 작업에서의 일반화 능력이 향상되는가?

주요 결과

• 형태-텍스처가 충돌하는 데이터로 훈련된 CNN 모델는 텍스처 기반 분류와 마찬가지로 형태 기반 분류를 쉽게 수행할 수 있으며, 이는 형태 기반 학습과의 본질적 불가능성 없음을 시사한다.
• 다양한 비지도 목표 함수와 아키텍처는 텍스처 편향에 작은, 독립적이고 통계적으로 유의미한 영향을 미치지만, 어느 하나도 이를 완전히 제거하지 못한다.
• 공격적인 데이터 증강, 특히 랜덤 크롭은 텍스처 편향을 강하게 유도하지만, 덜 공격적인 크롭은 이를 감소시킨다.
• 자연스러운 증강 기법—색상 왜곡, 노이즈, 블러—를 적용하면, 모델이 대부분의 경우 모호한 이미지를 형태 기반으로 분류한다.
• 효과적인 데이터 증강을 통해 훈련된 모델는 베이스라인 모델보다 분포 외 테스트 세트에서 성능이 뛰어나며, 일반화 능력 향상이 확인된다.
• 텍스처 기반 예측을 내리더라도 이러한 모델의 은닉 표현에는 여전히 복원 가능한 형태 정보가 존재하며, 이는 편향이 특징 손실 때문이 아니라는 것을 시사한다.