[논문 리뷰] Automatic Shortcut Removal for Self-Supervised Representation Learning

Matthias Minderer, Olivier Bachem외 2명|arXiv (Cornell University)|2020. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 36

한 줄 요약

본 논문은 자기지도학습(SSL) 전처리에서 단축 특징을 제거하는 adversarially 훈련된 이미지-투-이미지 렌즈를 도입하여 다양한 작업과 데이터셋 간에 전달 가능한 표현력을 향상시킵니다. 렌즈는 데이터셋/작업 편향을 드러내고 완화하며 의미적 특징 학습을 강화합니다.

ABSTRACT

In self-supervised visual representation learning, a feature extractor is trained on a "pretext task" for which labels can be generated cheaply, without human annotation. A central challenge in this approach is that the feature extractor quickly learns to exploit low-level visual features such as color aberrations or watermarks and then fails to learn useful semantic representations. Much work has gone into identifying such "shortcut" features and hand-designing schemes to reduce their effect. Here, we propose a general framework for mitigating the effect shortcut features. Our key assumption is that those features which are the first to be exploited for solving the pretext task may also be the most vulnerable to an adversary trained to make the task harder. We show that this assumption holds across common pretext tasks and datasets by training a "lens" network to make small image changes that maximally reduce performance in the pretext task. Representations learned with the modified images outperform those learned without in all tested cases. Additionally, the modifications made by the lens reveal how the choice of pretext task and dataset affects the features learned by self-supervision.

연구 동기 및 목표

• SSL에서 단축 특징 문제를 동기 부여하고 형식화한다.
• 손으로 설계하지 않고 단축을 제거하는 자동화된 방법을 제안한다.
• 렌즈 기반 단축 제거가 다양한 작업과 데이터셋에서 SSL 표현을 개선함을 입증한다.
• 렌즈 시각화를 사용하여 데이터셋 및 전처리 과제 편향을 분석하고 작업 설계에 활용한다.

제안 방법

• 렌즈로서 입력을 적대적으로 수정하여 SSL 성능을 저하시킬 수 있는 경량 이미지-투-이미지 변환 네트워크를 도입한다.
• 전처리 과제 난이도를 최대화하는 동시에 영상 재구성 품질을 유지하도록 적대적 손실로 렌즈를 학습한다.
• 렌즈의 재구성 손실(L2)을 사용하여 렌즈를 규제하고 각 작업에 대해 하이퍼파라미터(lambda)를 선택한다.
• 정보 콘텐츠를 보존하기 위해 렌즈가 적용된 입력과 렌즈가 적용되지 않은 입력의 표현을 결합하여 다운스트림 평가를 수행한다.

실험 결과

연구 질문

• RQ1 적대적 렌즈가 SSL에서 전처리 과제를 해결하는 데 도움을 주는 단축 특징을 자동으로 식별하고 제거할 수 있는가?
• RQ2 렌즈 기반 수정이 데이터셋 및 전처리 과제 간 SSL 표현의 다운스트림 전이 성능을 개선하는가?
• RQ3 렌즈가 제거하는 시각적 특징은 무엇이며, 이것이 작업/데이터셋 편향과 어떻게 연결되는가?
• RQ4 렌즈 기반 단축 제거가 학습된 표현의 의미적 품질에 어떤 영향을 미치는가?
• RQ5 렌즈가 데이터셋 편향을 드러내고 SSL용 증강 설계에 가이드를 제공할 수 있는가?

주요 결과

• 다양한 전처리 과제와 데이터셋에 걸쳐 렌즈를 적용하면 기준 SSL 표현 대비 상당한 개선이 나타난다.
• 렌즈는 FGSM과 같은 표준적 적대적 학습 방법보다 전이 성능 향상에서 우수하며, 특히 Places205로의 전이에서 두드러진다.
• 렌즈로 생성된 표현은 의미성이 증가하는 경향을 보이며, 예를 들어 질감 편향 특성에서 형태 기반 의사결정으로의 전환이 관찰된다.
• 렌즈 시각화는 워터마크, 색수차, 데이터셋 특유의 편향 등 해석 가능한 단축 특징을 드러낸다.
• 비디오 프레임(YouTube1M)에서 렌즈는 ImageNet 학습 대비 성능 저하의 상당 부분을 회복하고 비선별 데이터에 존재하는 편향을 감소시킨다.