[논문 리뷰] Parametric Instance Classification for Unsupervised Visual Feature Learning

Yue Cao, Zhenda Xie외 4명|arXiv (Cornell University)|2020. 06. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 26

한 줄 요약

이 논문은 Parametric Instance Classification (PIC)를 소개한다. PIC는 각 이미지를 고유한 클래스로 간주함으로써 이원 분류 기반의 비모수적 인스턴스 식별을 단일 브랜치, 모수적 접근 방식으로 단순화한 비지도 시각적 특징 학습 방법으로, SimCLR 및 MoCo v2와 같은 최신 기법들과 경쟁 가능한 성능을 달성한다. 주요 한계를 해결하기 위해 슬라이딩 윈도우 데이터 스케줄러와 가중치 업데이트 보정 기법을 통합한 음성 샘플링 기법을 도입하여 수렴 속도를 향상시키고, 정보 泄漏 우려 없이 대규모 데이터셋에서도 확장 가능한 학습을 가능하게 한다.

ABSTRACT

This paper presents parametric instance classification (PIC) for unsupervised visual feature learning. Unlike the state-of-the-art approaches which do instance discrimination in a dual-branch non-parametric fashion, PIC directly performs a one-branch parametric instance classification, revealing a simple framework similar to supervised classification and without the need to address the information leakage issue. We show that the simple PIC framework can be as effective as the state-of-the-art approaches, i.e. SimCLR and MoCo v2, by adapting several common component settings used in the state-of-the-art approaches. We also propose two novel techniques to further improve effectiveness and practicality of PIC: 1) a sliding-window data scheduler, instead of the previous epoch-based data scheduler, which addresses the extremely infrequent instance visiting issue in PIC and improves the effectiveness; 2) a negative sampling and weight update correction approach to reduce the training time and GPU memory consumption, which also enables application of PIC to almost unlimited training images. We hope that the PIC framework can serve as a simple baseline to facilitate future study.

연구 동기 및 목표

• 이중 브랜치, 비모수적 인스턴스 식별 기반의 비지도 시각적 표현 학습에 비해 더 단순한 모수적 대안을 제안하는 것.
• 기존 이중 브랜치 아키텍처에서 발생하는 정보 泄漏 문제를 해결하기 위한 복잡한 메커니즘의 필요성을 제거하는 것.
• 모수적 인스턴스 분류에서 발생하는 드문 인스턴스 재방문 문제와 높은 메모리 소비 문제를 해결함으로써 대규모 데이터셋에 대한 학습 효율성과 확장성을 향상시키는 것.
• 미래의 비지도 표현 학습 연구를 위한 실용적이고 효과적인 기준점으로 PIC를 정립하는 것.

제안 방법

• 각 이미지가 반복마다 네트워크에 한 번씩 입력되는 단일 브랜치 아키텍처를 채택하여 이중 브랜치의 복잡성과 정보 泄漏 우려를 피한다.
• 온도 조절 기반 코사인 소프트맥스 손실을 적용하여 특징의 분류 능력과 일반화 성능을 향상시킨다.
• 같은 인스턴스의 재방문 간격을 줄여 수렴 속도를 높이고 표현 학습 성능을 향상시키는 슬라이딩 윈도우 데이터 스케줄러를 도입한다.
• 학습 시간과 GPU 메모리 사용량을 데이터셋 크기가 증가하더라도 거의 일정하게 유지하기 위해 음성 샘플링 전략과 함께 가중치 업데이트 보정 기법을 제안한다.
• 특징 품질 향상을 위해 2층의 MLP 프로젝션 헤드와 강력한 데이터 증강 기법을 활용하며, 최신 비지도 학습 기준과 일치한다.
• 표준 지도 학습 분류 구성 요소(백본, 프로젝션 헤드, 손실)를 사용하면서도 최근 최신 기술을 적용하여 경쟁 가능한 성능를 달성한다.

실험 결과

연구 질문

• RQ1 간단한 단일 브랜치 모수적 분류 프레임워크가 SimCLR 및 MoCo v2와 같은 최신 이중 브랜치 비지도 방법과 비교해 유사한 성능을 달성할 수 있는가?
• RQ2 기존의 한계에 대한 믿음에도 불구하고, 모수적 인스턴스 분류가 강력한 전이 성능를 달성할 수 있도록 하는 핵심 구성 요소 설정은 무엇인가?
• RQ3 PIC에서 발생하는 극단적인 드문 인스턴스 재방문 문제는 어떻게 완화할 수 있으며, 이는 수렴 속도와 표현 품질 향상에 어떻게 기여하는가?
• RQ4 데이터셋 크기가 증가함에 따라 학습 효율성과 GPU 메모리 소비량을 거의 일정하게 유지할 수 있는가? 이는 무한대 규모 데이터에의 적용 가능성을 의미하는가?
• RQ5 PIC의 주의 패턴(열린 지도)이 지도 학습 모델과 얼마나 유사한가? 이는 그들의 인도크티브 바이어스에 대해 어떤 시사점을 제공하는가?

주요 결과

• PIC 프레임워크는 동일한 구성 요소 설정을 사용할 경우 ImageNet-1K에서 선형 평가 상위-1 정확도 74.6%를 달성하여 SimCLR 및 MoCo v2와 동등한 성능를 보였다.
• 슬라이딩 윈도우 데이터 스케줄러는 같은 인스턴스의 재방문 간격을 줄여 수렴 속도를 크게 향상시키고 표현 품질을 향상시켰다.
• 음성 샘플링과 가중치 업데이트 보정 기법을 통해 데이터셋 크기가 증가하더라도 GPU 메모리 사용량과 학습 시간이 거의 일정하게 유지되어, PIC가 무한대 규모 데이터셋에 확장 가능한 것으로 입증되었다.
• 열린 지도 분석 결과, PIC와 지도 학습 모델 간의 유사도가 평균 0.762로 높게 나타나, PIC가 지도 학습 방식과 유사하게 주목할 만한 이미지 영역에 집중하는 방식으로 학습하고 있음을 시사한다.
• 클래스 수준의 지도 없이 다수의 객체에 주목하는 경향이 있지만, 통계적으로 지도 학습 모델과 유사한 주의 패턴을 보이며, 표현 학습에 효과적인 인도크티브 바이어스를 가짐을 시사한다.
• 모수적 인스턴스 분류가 본질적으로 제한되어 있다는 믿음을 뒤집었으며, 성능 저하는 아키텍처의 불일치 때문이 아니라 구성 요소 설계의 한계에 의해 주로 결정됨을 입증하였다.