[논문 리뷰] Semantic-Aware Generation for Self-Supervised Visual Representation Learning

Yunjie Tian, Lingxi Xie외 7명|arXiv (Cornell University)|2021. 11. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 7

한 줄 요약

이 논문은 자기지도 학습에서 재구성 과정을 지도하는 데 사전 훈련된 의미적 인식 평가자(semantic-aware evaluator)를 사용하는 자기지도 시각 표현 학습 방법인 의미적 인식 생성(SaGe)을 제안한다. 이는 픽셀 수준의 메트릭보다 의미적 충실도를 향상시켜 이미지 생성 품질을 향상시킨다. SaGe는 ImageNet-1K 및 선형 분류, 객체 검출 등의 후행 작업에서 최고 성능을 기록하며, 전통적인 픽셀 기반 생성 프록시보다 의미적 인식 생성이 더 우수함을 입증한다.

ABSTRACT

In this paper, we propose a self-supervised visual representation learning approach which involves both generative and discriminative proxies, where we focus on the former part by requiring the target network to recover the original image based on the mid-level features. Different from prior work that mostly focuses on pixel-level similarity between the original and generated images, we advocate for Semantic-aware Generation (SaGe) to facilitate richer semantics rather than details to be preserved in the generated image. The core idea of implementing SaGe is to use an evaluator, a deep network that is pre-trained without labels, for extracting semantic-aware features. SaGe complements the target network with view-specific features and thus alleviates the semantic degradation brought by intensive data augmentations. We execute SaGe on ImageNet-1K and evaluate the pre-trained models on five downstream tasks including nearest neighbor test, linear classification, and fine-scaled image recognition, demonstrating its ability to learn stronger visual representations.

연구 동기 및 목표

• 기존 자기지도 학습 방법이 분류 성능에 치중하면서 생성 품질을 고려하지 않는 한계를 해결하기 위해.
• 픽셀 수준의 유사도에 의존하는 대신 의미적 인식을 통한 생성 브랜치 향상으로 시각 표현 학습을 개선하기 위해.
• 의미적 인식 평가자가 생성된 이미지의 품질과 후행 전이 성능을 크게 향상시킨다는 것을 검증하기 위해.
• 생성 기반 프록시가 자기지도 학습 프레임워크에서 대비나 예측 학습을 효과적으로 대체할 수 있는지 조사하기 위해.
• 강력한 데이터 증강으로 인한 의미적 열악화를 시각별로 의미적 인식 재구성으로 줄이기 위해.

제안 방법

• 프레임워크는 인코더(타겟 네트워크), 디코더(생성 헤드), 그리고 의미적 점수를 계산하기 위한 사전 훈련된 평가자 네트워크로 구성된다.
• 평가자는 사전 훈련된 자기지도 네트워크를 사용해 원본 이미지와 재구성된 이미지의 의미적 특징을 비교하여 생성 점수를 계산한다.
• 손실 함수는 픽셀 수준의 MSE 손실과 평가자의 특징를 통해 계산된 의미 수준의 유사도 손실을 조합한다.
• 인코더는 디코더가 원본 이미지를 재구성하면서 평가자로 측정된 의미적 내용을 유지할 수 있도록 훈련된다.
• 데이터 증강을 사용해 시각 쌍을 생성함으로써, 대비(contrastive) 및 생성적(generative) 목표를 동시에 끝내는 방식으로 엔드 투 엔드로 훈련된다.
• 의미 유지 정도를 평가하기 위해 인지 테스트를 사용하며, 이는 사전 훈련된 ImageNet 분류기로 생성된 이미지가 정확히 분류되는지 평가한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 메트릭과 비교해 의미적 인식 평가자가 자기지도 표현 학습에서 생성된 이미지의 품질을 향상시킬 수 있는가?
• RQ2 의미적 지시를 통한 생성 브랜치를 통합하면 순수하게 분류 중심의 방법보다 더 강력한 전이 가능한 시각 표현을 얻을 수 있는가?
• RQ3 SaGe는 ImageNet-1K 및 후행 작업에서 최고 수준의 대비 및 예측 자기지도 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ4 의미적 인식 생성이 공격적인 데이터 증강으로 인한 의미적 열악화를 어느 정도 완화하는가?
• RQ5 생성 목표만으로도 자기지도 사전 훈련에서 대비 학습을 효과적으로 대체할 수 있는가?

주요 결과

• SaGe는 ImageNet-1K 선형 평가에서 MoCo-v2 및 SimCLR와 같은 기존 방법들을 능가하는 최고 성능을 기록했다.
• 최근접 이웃 테스트에서 SaGe는 상위 1위 정확도 86.7%를 달성하여 강력한 특징 전이 능력을 보였다.
• MS-COCO에서의 객체 검출 및 인스턴스 세그멘테이션 작업에서 SaGe는 마스크 AP 43.2를 기록하며 이전 자기지도 방법들을 능가했다.
• 인지 테스트 결과, 의미적 인식 평가를 통한 모델은 상위 5위 정확도 87.5%를 달성한 반면, 이를 사용하지 않은 모델은 실패하여 더 나은 의미 유지 능력을 보였다.
• 제거 실험 결과, 의미적 인식 평가자가 핵심임을 확인했으며, MSE 손실이 있더라도 평가자가 없는 모델은 성능이 열악했다.
• 사전 훈련된 평가자를 사용하면 성능이 크게 향상되며, 특히 더 깊은 ResNet-50 평가자를 사용할 경우 가장 뛰어난 성능을 기록했다.