[논문 리뷰] Revisiting Weakly Supervised Pre-Training of Visual Perception Models

Mannat Singh, Laura Gustafson외 8명|arXiv (Cornell University)|2022. 01. 20.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 대규모 이미지-_hashtag_ 쌍을 사용하여 시각 인식 모델의 약한 지도 학습 전훈을 조사한다. 이는 기존의 가장 큰 규모의 이미지와 해시태그 데이터셋을 사용하여 최신 ResNet 아키텍처를 훈련시킨다. 제안된 SWAG 모델들은 전이 학습 설정 전반에서 최신 기술 수준의 성능을 달성하며, 자기지도 학습 및 완전 지도 학습 기반 모델들을 모두 능가한다. 또한, 유해한 고정관념적 연관성의 위험을 최소화하면서 강력한 제로샷 일반화 성능을 보여준다.

ABSTRACT

Model pre-training is a cornerstone of modern visual recognition systems. Although fully supervised pre-training on datasets like ImageNet is still the de-facto standard, recent studies suggest that large-scale weakly supervised pre-training can outperform fully supervised approaches. This paper revisits weakly-supervised pre-training of models using hashtag supervision with modern versions of residual networks and the largest-ever dataset of images and corresponding hashtags. We study the performance of the resulting models in various transfer-learning settings including zero-shot transfer. We also compare our models with those obtained via large-scale self-supervised learning. We find our weakly-supervised models to be very competitive across all settings, and find they substantially outperform their self-supervised counterparts. We also include an investigation into whether our models learned potentially troubling associations or stereotypes. Overall, our results provide a compelling argument for the use of weakly supervised learning in the development of visual recognition systems. Our models, Supervised Weakly through hashtAGs (SWAG), are available publicly.

연구 동기 및 목표

• 해시태그를 사용한 약한 지도 학습 전훈의 효과성을 평가하여, 완전 지도 학습 또는 자기지도 학습 전훈의 확장 가능한 대안으로서의 가능성을 검토한다.
• 대규모 이미지-해시태그 쌍으로 훈련된 모델이, 제로샷 및 피처샷 전이를 포함한 다양한 후행 비전 과제에 얼마나 잘 일반화되는지 평가한다.
• 약한 지도 신호에서 이러한 모델이 유해하거나 고정관념적인 연관성을 학습하는지 조사한다.
• 최신 자기지도 학습 및 완전 지도 학습 전훈 접근법과 비교하여 약한 지도 학습 모델의 성능을 평가한다.

제안 방법

• 다중 레이블 분류를 위한 표준 크로스 엔트로피 손실을 사용하여, 대규모 이미지-해시태그 쌍 데이터셋에서 최신 잔차 네트워크를 전훈한다.
• 기존의 ImageNet 규모를 넘어서는 감독 신호를 확장하기 위해, 공개된 바 있는 가장 큰 이미지-해시태그 쌍 데이터셋을 활용한다.
• 다양한 후행 비전 벤치마크에서 전이 학습을 통해 결과 모델을 평가하며, 제로샷 및 피처샷 설정을 포함한다.
• 목표 데이터셋에서의 피팅 없이도 직접적으로 학습된 특징을 사용하여 제로샷 전이를 수행한다.
• UTK Faces 데이터셋을 활용하여 체계적인 편향 분석을 수행하여, 예측된 해시태그와 피부 톤, 연령, 성별, 명백한 인종 등의 민감한 특성 간의 연관성을 분석한다.
• 모델 예측의 시각적 및 통계적 분석을 수행하여, 학습된 연관성과 데이터 분포의 오염 요소 간의 차이를 식별한다.

실험 결과

연구 질문

• RQ1 해시태그를 활용한 약한 지도 학습 전훈이 후행 비전 과제에서 완전 지도 학습 및 자기지도 학습 전훈과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 피팅 없이도 제로샷 및 피처샷 전이 학습 설정에서 이러한 약한 지도 학습 모델은 어떻게 성능을 내는가?
• RQ3 이러한 모델이 성별, 인종, 연령과 관련된 문제적 또는 고정관념적인 연관성을 어느 정도 학습하는가?
• RQ4 관찰된 연관성은 모델 학습의 결과인지, 특히 UTK Faces와 같은 데이터셋의 평가 데이터 오염 요소 때문인가?
• RQ5 유사한 규모에서 훈련된 경우, 약한 지도 학습 모델의 성능이 자기지도 학습 모델을 능가하는가?

주요 결과

• 가장 우수한 SWAG 모델들은 비교적 단순한 훈련 파이프라인을 사용함에도 불구하고, 다양한 시각 인식 과제에서 최신 기술 수준의 성능을 달성한다.
• SWAG 모델들은 제로샷 및 피처샷 전이를 포함한 모든 평가된 전이 학습 설정에서 자기지도 학습 기반 모델들을 상당히 능가한다.
• 모델들은 강력한 제로샷 일반화 성능을 보이며, 피팅 없이도 후행 분류 과제에서 경쟁 가능한 정확도를 달성한다.
• 편향 분석 결과, 일부 고정관념적 연관성이 드러났다. 예를 들어 UTK Faces 데이터셋에서 #mugshot는 흑인 개인과 연관지어지지만, 시각적 및 통계적 분석 결과 이는 모델 학습의 결과보다는 데이터 오염 요소 때문일 가능성이 높다.
• 다크 톤 피부 톤과 #mugshot 간의 연관성은 데이터로 입증되지 않으며, 모델은 가장 밝은 피부 톤(Fitzpatrick 1)에 대해 #mugshot를 더 자주 예측한다. 이는 편향이 평가 데이터셋에서 기인함을 시사한다.
• 전반적으로 볼 때, 이러한 모델이 언어 모델링에서 관찰되는 것보다는 해로운 연관성의 위험이 낮아, 약한 지도 학습 전훈이 완전 또는 자기지도 학습 접근법의 타당하고 강건한 대안임을 시사한다.