[논문 리뷰] Frustratingly Simple Domain Generalization via Image Stylization

Nathan Somavarapu, Chih‐Yao Ma외 1명|arXiv (Cornell University)|2020. 06. 19.

Image Retrieval and Classification Techniques참고 문헌 40인용 수 53

한 줄 요약

간단한 도메인 내 스타일링 증강(및 소스 간 스타일링)이 도메인 일반화 성능을 개선하여 모델을 형상(shape)에 대한 텍스처(texture) 편향으로 유도하고, 외부 데이터 소스 없이 DG 벤치마크에서 경쟁력 있거나 최첨단 결과를 달성합니다.

ABSTRACT

Convolutional Neural Networks (CNNs) show impressive performance in the standard classification setting where training and testing data are drawn i.i.d. from a given domain. However, CNNs do not readily generalize to new domains with different statistics, a setting that is simple for humans. In this work, we address the Domain Generalization problem, where the classifier must generalize to an unknown target domain. Inspired by recent works that have shown a difference in biases between CNNs and humans, we demonstrate an extremely simple yet effective method, namely correcting this bias by augmenting the dataset with stylized images. In contrast with existing stylization works, which use external data sources such as art, we further introduce a method that is entirely in-domain using no such extra sources of data. We provide a detailed analysis as to the mechanism by which the method works, verifying our claim that it changes the shape/texture bias, and demonstrate results surpassing or comparable to the state of the arts that utilize much more complex methods.

연구 동기 및 목표

• 사람과 다른 모델 편향을 다뤄 보지 않은 도메인에 대한 강건한 일반화를 촉진한다.
• 콘텐츠를 보존하면서 텍스처를 변경하는 경량 데이터 증강을 제안하여 모델 의존도를 형상으로 이동시킨다.
• 도메인 내 스타일링과 소스 간 스타일링이 표준 벤치마크에서 최첨단 DG 방법과 맞먹거나 그 이상이 될 수 있음을 보인다.
• 스타일리제이션이 형상/텍스처 편향에 어떤 영향을 미치는지 그리고 일반화에 미치는 영향을 분석한다.

제안 방법

• AdaIN을 사용하여 확률 p로 이미지의 스타일링 버전으로 대체하는 확률적 스타일링 S_{Q,p}(x)를 정의한다. 스타일 세트 Q는 화가 데이터셋이나 다른 소스 도메인과 같은 소스에서 뽑아 구성한다.
• 분류 손실의 엔드-투-엔드 최적화에서 학습 중 스타일리제이션을 적용한다: min_theta E_{x,y ~ D_S}[ L_c( f(S_{Q,p}(x); theta), y) ].
• 외부 데이터 없이도 도메인 간 변이성을 활용하기 위해 Q가 다른 소스 도메인으로 구성되거나(또는 현재 도메인이 Q인 intra-source) 도메인 간 스타일링을 도입한다.
• 스타일리제이션이 형상 정보를 증가시키는 경향이 있으며 텍스처 정보는 크게 감소시키지 않아 교차 도메인 성능이 향상됨을 보여준다.
• ResNet-18과 AlexNet 백본을 사용하여 DG 벤치마크 PACS, VLCS, Office-Home을 실험한다.
• 형상 편향, 형상 정확도, 텍스처 정확도를 측정하기 위한 cue-conflict 데이터셋을 포함한 분석을 제공한다.

실험 결과

연구 질문

• RQ1 간단한 스타일링 증강이 추가 데이터 소스 없이 도메인 일반화를 향상시키나요?
• RQ2 DG 설정에서 스타일리제이션이 CNN의 형상 대 텍스처 편향에 어떤 영향을 미치나요?
• RQ3 외부 페인팅 데이터와의 스타일리제이션만큼 소스 간 스타일링이 DG에 효과적인가요?
• RQ4 소스 간 스타일링의 이점에 가장 많이 기여하는 소스 도메인은 어떤 도메인인가요?
• RQ5 다른 백본 아키텍처와 데이터셋 전반에 걸쳐 이득이 일관되게 나타나나요?

주요 결과

• 스타일리제이션 기반 증강은 PACS, VLCS, Office-Home 벤치마크에서 최첨단 DG 결과에 근접하거나 경쟁력 있다.
• 소스 간 스타일링(외부 그림 데이터 없음)은 그림 기반 스타일링과 유사한 개선을 제공하여 충분한 교차 소스 변이를 나타낸다.
• 스타일리제이션은 형상 편향과 형상 정확도를 증가시키고 텍스처 정확도는 크게 변하지 않아 교차 도메인 일반화와 상관관계가 있다.
• 백본(ResNet-18 및 AlexNet)과 다수의 대상 도메인에 걸쳐 이점이 관찰된다.
• 소스 간 스타일링에 더 많은 소스를 사용할수록 일반적으로 도움이 되며, 여러 소스의 혼합을 넘어서서는 수익은 감소한다.