[논문 리뷰] Self-Supervised Ranking for Representation Learning

Ali Varamesh, Ali Diba외 2명|arXiv (Cornell University)|2020. 10. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 5

한 줄 요약

이 논문은 여러 임의의 이미지 증강에 대해 전역 순위 매기기 문제로 표현 학습을 공식화하는 자기지도 표현 학습 프레임워크 S2R2를 제안한다. 이는 SimCLR 및 SwAV와 같은 대비 학습 방법보다 MS-COCO와 같은 다양한 데이터셋에서 더 뛰어난 성능을 보이며, 특히 혼잡하고 정제되지 않은 장면에서 평균 정밀도를 전체 뷰에 대해 최적화함으로써 이중 대비 손실에 의존하지 않고도 성능을 높인다.

ABSTRACT

We present a new framework for self-supervised representation learning by formulating it as a ranking problem in an image retrieval context on a large number of random views (augmentations) obtained from images. Our work is based on two intuitions: first, a good representation of images must yield a high-quality image ranking in a retrieval task; second, we would expect random views of an image to be ranked closer to a reference view of that image than random views of other images. Hence, we model representation learning as a learning to rank problem for image retrieval. We train a representation encoder by maximizing average precision (AP) for ranking, where random views of an image are considered positively related, and that of the other images considered negatives. The new framework, dubbed S2R2, enables computing a global objective on multiple views, compared to the local objective in the popular contrastive learning framework, which is calculated on pairs of views. In principle, by using a ranking criterion, we eliminate reliance on object-centric curated datasets. When trained on STL10 and MS-COCO, S2R2 outperforms SimCLR and the clustering-based contrastive learning model, SwAV, while being much simpler both conceptually and at implementation. On MS-COCO, S2R2 outperforms both SwAV and SimCLR with a larger margin than on STl10. This indicates that S2R2 is more effective on diverse scenes and could eliminate the need for an object-centric large training dataset for self-supervised representation learning.

연구 동기 및 목표

• 지역적이고 이중 대비 학습 목표의 한계를 해결함으로써, 시각적 다양성과 혼잡한 장면에서 어려움을 겪는 문제를 해결한다.
• 객체 중심의 정제된 데이터셋에 의존하지 않기 위해, 동일한 이미지의 임의의 뷰에 대해 전역 순위 매기기 문제로 표현 학습을 공식화한다.
• 지역적 대비 손실이 아닌 전역 평균 정밀도(AP) 목표를 사용함으로써 최적화 안정성과 성능을 향상시킨다.
• 순위 기반 자기지도 학습이 MS-COCO와 같이 정제되지 않은 복잡한 데이터셋에서 대비 학습보다 더 우수한 일반화 성능을 보임을 입증한다.
• 더 복잡한 다단계 훈련이나 클러스터링이 필요 없이도 간단한 전역 순위 목표가 최첨단 대비 모델을 능가할 수 있음을 검증한다.

제안 방법

• 프레임워크는 동일한 이미지의 임의의 증강이 양성 샘플이고, 다른 이미지의 증강이 음성 샘플인 검색 작업으로서 표현 학습을 다룬다.
• 작업 배치 내 모든 양성 및 음성 뷰에 대해 평균 정밀도(AP) 지표를 최적화하며, 표현 벡터 간 코사인 유사도를 사용해 순위 점수를 계산한다.
• AP 공식의 지표 함수에 대한 미분 가능한 근사치를 기반으로 한 손실은 백프로파게이션을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 인코더 특징에 비선형 투사 헤드를 사용하며, 고정된 1e-4 학습률로 ADAM을 사용해 훈련을 처음부터 수행한다.
• 모든 데이터셋에 대해 96×96 크기의 무작위 컷을 사용하고, ResNet18 및 ResNet50 백본을 사용하며, 최종 분류 작업에서 선형 프로브 정확도를 평가한다.
• SimCLR 및 SwAV와 달리 인스턴스 수준의 레이블이나 클러스터 할당이 필요 없이, 뷰 간 상대적 순위에만 의존함으로써 이러한 요구를 피한다.

실험 결과

연구 질문

• RQ1 여러 이미지 증강에 대해 전역 순위 매기기 목표가 자기지도 표현 학습에서 지역적 이중 대비 학습보다 우월한가?
• RQ2 제안된 순위 기반 방법이 MS-COCO와 같이 정제되지 않은 다양성 있는 데이터셋에서 대비 학습보다 더 잘 일반화되는가?
• RQ3 S2R2의 성능은 다양한 데이터셋과 백본 아키텍처에서 최첨단 대비 모델인 SimCLR 및 SwAV와 비교해 어떻게 되는가?
• RQ4 작업 배치 크기와 이미지당 뷰 수가 순위 기반 목표의 성능에 어떤 영향을 미치는가?
• RQ5 순위 목표는 대비 학습에서 내재된 최적화 갈등, 예를 들어 양성 쌍에 대한 상반된 끌림 힘과 같은 문제를 완화하는가?

주요 결과

• MS-COCO-Train 및 MS-COCO-Val에서 S2R2는 ResNet50를 사용해 각각 81.2%와 70.2%의 상위-1 선형 분류 정확도를 달성하며, SimCLR(74.9% 및 59.4%)와 SwAV(77.5% 및 59.4%)를 각각 능가한다.
• STL10에서 S2R2는 200 에포크 동안 89.7%의 정확도를 기록하며, 동일한 설정에서 SimCLR(85.2%)와 SwAV(85.9%)를 초월한다.
• S2R2는 COCO-Val에서 SwAV보다 빠르게 수렴하며, 더 긴 훈련 기간 동안 성능이 안정되거나 향상되는 반면, SwAV는 더 긴 스케줄에서 성능이 악화된다.
• 작업 배치에 포함된 이미지 수가 임계값을 초과하면 성능이 떨어지며, 이는 이미지 간 시각적 유사성이 증가해 순위 신호가 감소하기 때문일 것이다.
• S2R2는 STL10보다 MS-COCO에서 더 큰 성능 향상을 보이며, 복잡하고 정제되지 않은 장면에서 더 뛰어난 성능을 보임을 시사한다.
• S2R2는 클러스터 할당이나 인스턴스 수준의 레이블이 필요 없이 최첨단 성능을 달성하며, 전역 순위 목표의 효과성을 입증한다.