[논문 리뷰] Learning Visual Representations for Transfer Learning by Suppressing Texture

Shlok Mishra, Anshul Shah외 6명|arXiv (Cornell University)|2020. 11. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 이미지넷 이미지의 무늬를 비등방성 확산을 통해 억제함으로써 데이터 증강 기법으로 활용하여, 콘volutional 네트워크(CNN)가 무늬 편향에 의존하는 대신 더 높은 수준의 형태 기반 표현을 학습하도록 유도한다. 이 방법은 12개의 다양한 데이터셋에서 전이 학습 성능을 향상시키며, 스케치-이미지넷에서 최대 11.49%의 정확도 향상과 합성-DTD에서 10.41%의 성능 향상을 보이며, 저수준의 단서에 대한 의존도를 감소시킨다.

ABSTRACT

Recent literature has shown that features obtained from supervised training of CNNs may over-emphasize texture rather than encoding high-level information. In self-supervised learning in particular, texture as a low-level cue may provide shortcuts that prevent the network from learning higher level representations. To address these problems we propose to use classic methods based on anisotropic diffusion to augment training using images with suppressed texture. This simple method helps retain important edge information and suppress texture at the same time. We empirically show that our method achieves state-of-the-art results on object detection and image classification with eight diverse datasets in either supervised or self-supervised learning tasks such as MoCoV2 and Jigsaw. Our method is particularly effective for transfer learning tasks and we observed improved performance on five standard transfer learning datasets. The large improvements (up to 11.49\%) on the Sketch-ImageNet dataset, DTD dataset and additional visual analyses with saliency maps suggest that our approach helps in learning better representations that better transfer.

연구 동기 및 목표

• CNN 모델이 무늬와 저수준 특징에 과도하게 의존하는 문제를 해결하여 도메인 간 일반화 능력을 향상시키기 위해.
• 무늬에 의존하기보다는 고수준의 형태 기반 표현에 초점을 맞추도록 모델을 유도함으로써 전이 학습 성능을 향상시키기 위해.
• 무늬를 억제하면서도 구조적 윤곽을 유지하는 간단하고 효과적인 데이터 증강 방법을 개발하기 위해.
• 감독 학습 및 자기지도 학습 환경에서 기존 방법들인 가우시안 블러와 스타일라이즈드-이미지넷을 능가하는 성능을 내기 위해.

제안 방법

• 비등방성 확산을 이미지넷 이미지에 적용하여 무늬를 억제하면서도 윤곽과 구조적 경계를 유지한다.
• 페라-말릭 및 강건한 비등방성 확산 프레임워크를 사용하여 데이터 증강을 위한 무늬 억제 이미지를 생성한다.
• 증강된 데이터셋을 감독 학습 및 자기지도 학습(예: MoCoV2, Dense-CL)을 위한 사전학습에 통합한다.
• 동일한 학습 프rotocol를 사용하여 가우시안 블러 및 스타일라이즈드-이미지넷과 같은 기준 방법들과 비교한다.
• 증강된 데이터셋으로 모델을 훈련하고 다양한 벤치마크에서 하류 전이 학습 작업에서 평가한다.
• Pix2Pix를 사용하여 조건부 이미지-이미지 번역을 학습하여 스타일 전이나 블러링보다 더 우수한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 이미지넷 이미지의 무늬를 억제하면 사전학습된 CNN의 하류 전이 학습 작업에서 일반화 능력이 향상되는가?
• RQ2 비등방성 확산 기반의 데이터 증강이 무늬에 의존도가 낮고 형태 및 구조에 더 집중된 표현을 유도하는가?
• RQ3 다양한 데이터셋에서 무늬 억제 기법이 가우시안 블러 및 스타일 전이와 비교해 성능 및 강건성 면에서 어떻게 다른가?
• RQ4 제안된 방법이 CNN에서 고주파 무늬 단서에 대한 의존도를 어느 정도 감소시키는가?
• RQ5 스케치-이미지넷과 GST와 같이 무늬가 허위 단서로 작용하는 데이터셋에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 스케치-이미지넷에서 11.49%의 정확도 향상을 기록하여 고수준의 형태 기반 표현 학습 능력 향상을 확인했다.
• 합성-DTD 데이터셋에서는 10.41%의 성능 향상을 보이며, 무늬 의존도 감소와 함께 일반화 능력 향상이 확인되었다.
• VOC, DTD, Cars, Aircraft 등 여러 전이 학습 벤치마크에서 가우시안 블러 및 스타일라이즈드-이미지넷을 모두 능가하는 성능을 기록했다.
• 정성적 분석을 통해 시각화 지도 맵을 통해 모델이 고주파 무늬 정보에 덜 의존하고 더 구조적 특징에 집중하고 있음을 확인했다.
• 가장 우수한 성능는 단순한 페라-말릭 비등방성 확산 방법에서 달성되었으며, 반복 횟수를 늘리면 분포 이탈로 인해 성능이 악화되었다.
• GST 데이터셋에서는 형태 기반 분류에서 1.02%의 성능 향상을 기록하여 무늬 편향 감소를 입증했다.