[논문 리뷰] Towards Good Practices in Self-supervised Representation Learning

Srikar Appalaraju, Yi Zhu외 2명|arXiv (Cornell University)|2020. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 10

한 줄 요약

이 논문은 대조적 자기지도 학습에서의 핵심 양호한 관행을 규명하고 실험적으로 검증하며, 비선형 투사 헤드, 가우시안 블러 증강,余弦 학습률 스케줄링, 모멘타ム 인코더가 큰 수의 음성 샘플에 의존하지 않고 성능을 향상시키는 데 기여함을 보여줍니다. 저자들은 이러한 관행이 학습을 안정화시키고, 최소한의 음성 샘플로도 최신 기술 수준의 성능을 달성할 수 있음을 입증하며, 대조적 및 비대조적 SSL 방법 모두에 실질적인 통찰을 제공합니다.

ABSTRACT

Self-supervised representation learning has seen remarkable progress in the last few years. More recently, contrastive instance learning has shown impressive results compared to its supervised learning counterparts. However, even with the ever increased interest in contrastive instance learning, it is still largely unclear why these methods work so well. In this paper, we aim to unravel some of the mysteries behind their success, which are the good practices. Through an extensive empirical analysis, we hope to not only provide insights but also lay out a set of best practices that led to the success of recent work in self-supervised representation learning.

연구 동기 및 목표

• 최근 대조적 인스턴스 학습 방법의 성공 원인을 규명하고자 하며, 이는 기본 원칙이 아닌 특정 설계 선택에 의존하는 듯 보이기 때문이다.
• 왜 일부 구성 요소—비선형 투사 헤드와 같은 것—이 대조적 SSL에서는 효과적으로 작동하지만, 지도 학습에서는 그렇지 않은지 조사하고자 한다.
• 데이터 증강, 학습률 스케줄링, 음성 샘플링 전략의 영향을 표현 품질과 내성에 미치는 영향을 평가하고자 한다.
• 음성 샘플의 수와 품질이 성능에 진정으로 중요한지, 아니면 양호한 관행이 이를 줄일 수 있는지 판단하고자 한다.
• 대조적 및 비대조적 자기지도 학습 프레임워크 간 이식 가능한 실험적으로 검증된 최선의 관행 세트를 제공하고자 한다.

제안 방법

• 저자들은 ImageNet 및 PASCAL VOC 데이터셋을 사용하여 MoCo v2(MoCov2)에서 핵심 구성 요소의 영향을 평가하기 위해 광범위한 추론 실험을 수행합니다.
• 인코더 뒤에 비선형 투사 헤드(MLP)를 도입하고, DIP(Depth Image Prior)를 사용한 추론 및 분석을 통해 그 영향을 분석합니다.
• 가우시안 블러 증강의 역할을 평가하기 위해 이를 제거하고 선형 프로브 정확도의 감소를 측정합니다.
• 余弦 학습률 스케줄링의 영향을 평가하기 위해 이를 비활성화하고, 다양한 음성 샘플 수에서 성능을 비교합니다.
• 메모리 큐를 코사인 유사도 기반으로 정렬하고, 비대칭 정규 분포를 사용해 하드 음성 샘플을 과도표본화함으로써 동적 하드 음성 샘플링을 수행합니다.
• 음성 샘플 수(K = 512에서 65,536)를 변화시키면서 한 번에 하나의 양호한 관행만 제거하는 추론 실험을 수행하여 그 영향을 고립합니다.

실험 결과

연구 질문

• RQ1 비선형 투사 헤드를 추가함으로써 대조적 SSL에서 성능이 크게 향상되는 이유는 무엇인가, 지도 학습에서는 효과가 없는가?
• RQ2 가우시안 블러와 같은 공격적인 데이터 증강이 지도 학습에서는 성능을 떨어뜨리지만, 대조적 학습에서는 왜 성능 저하 없이 작용하는가?
• RQ3 음성 샘플의 수와 품질이 대조적 학습 성능에 얼마나 큰 영향을 미치는가?
• RQ4 어느 양호한 관행이 대조적 학습에서 큰 수의 음성 샘플이 필요로 하는 것을 줄이는 데 가장 기여하는가?
• RQ5 이러한 양호한 관행은 비대조적 자기지도 학습 방법으로 일반화될 수 있는가?

주요 결과

• MoCov2에서 비선형 투사 헤드를 제거하면 ImageNet 선형 프로브 정확도가 67.5%에서 61.7%로 감소하여, 이 요소가 표현 품질에 핵심적인 역할을 함을 입증한다.
• 랜덤으로 초기화된 고정된 비선형 투사 헤드를 사용해도 성능 향상(62.9% 정확도)을 기록하여, 학습 가능한 파rameter 외에도 비선형 변환이 유의미하게 기여함을 시사한다.
• 가우시안 블러 증강과 余弦 학습률 스케줄링의 조합은 K=512에서 K=65,536까지 다양한 음성 샘플 수에서 안정적인 성능을 가능하게 한다.
• 비선형 투사 헤드가 없을 경우 음성 샘플 수가 감소함에 따라 성능이 크게 떨어지며, 이는 이 구성 요소가 낮은 음성 샘플 수에 대한 내성 확보에 필수적임을 보여준다.
• 동적 하드 음성 샘플링은 성능 향상을 가져오지 않아, MoCov2의 양호한 관행들이 이미 음성 샘플 품질에 대한 내성을 확보하고 있음을 시사한다.
• 모멘타임 0.999를 가진 모멘타임 인코더는 필수적이다. 이를 0.5로 낮추면 K=512일 때 성능이 59.8%로 떨어지며, 표현 안정성 유지에 있어 그 중요성을 입증한다.