[논문 리뷰] Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations

Xinyue Huo, Lingxi Xie외 7명|arXiv (Cornell University)|2020. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 이종 대비 학습(Heterogeneous Contrastive Learning, HCL)을 제안하며, 이중 브랜치 아키텍처를 통해 의미적 특징과 공간적 특징을 동시에 인코딩함으로써 자기지도 학습 시각 표현 학습을 향상시킨다. 수정된 기능 피라미드 네트워크(FPN) 브랜치를 통해 공간 정보를 통합함으로써 HCL는 표현 효율성을 향상시키며, 인스턴스 식별에서 높은 정확도를 달성하고, 객체 검출 및 세분화와 같은 후행 작업에서 MoCo-v2를 능가한다. 또한 사전 훈련 비용을 절반으로 줄였다.

ABSTRACT

Contrastive learning has achieved great success in self-supervised visual representation learning, but existing approaches mostly ignored spatial information which is often crucial for visual representation. This paper presents heterogeneous contrastive learning (HCL), an effective approach that adds spatial information to the encoding stage to alleviate the learning inconsistency between the contrastive objective and strong data augmentation operations. We demonstrate the effectiveness of HCL by showing that (i) it achieves higher accuracy in instance discrimination and (ii) it surpasses existing pre-training methods in a series of downstream tasks while shrinking the pre-training costs by half. More importantly, we show that our approach achieves higher efficiency in visual representations, and thus delivers a key message to inspire the future research of self-supervised visual representation learning.

연구 동기 및 목표

• 자르기 및 뒤집기와 같은 공간적으로 민감한 데이터 증강 기법과 대비 학습 목표 간의 일관성 없는 문제를 해결하기 위해.
• 의미적 특징과 함께 공간적 구조를 인코딩하여 시각 표현의 효율성과 밀도를 향상시키기 위해.
• 특히 공간 이해가 필요한 작업에서 성능을 희생시키지 않으면서 사전 훈련 비용을 줄이기 위해.
• 이종 특징 인코딩이 동종 특징 인코딩보다 더 효율적이고 손실이 적은 표현을 이끌어내는지 보여주기 위해.

제안 방법

• HCL는 이중 브랜치 인코더를 도입한다: 하나의 브랜치는 최종 평균 풀링 레이어에서 의미적 특징을 추출하고, 다른 브랜치는 수정된 기능 피라미드 네트워크(FPN)를 사용해 공간적 특징을 추출한다.
• 공간 브랜치는 14×14 특징 맵을 출력하도록 수정되었으며, 이는 전역 풀링을 통해 압축된 벡터로 변환되어 의미 벡터와 차원에서 호환되도록 보장된다.
• 의미적 특징과 공간적 특징은 정규화된 후 연결되어 대비 손실 함수에 입력되며, 이로써 동시 최적화가 가능해진다.
• 이 방법은 사전 훈련 기간 동안만 적용되며, 최종 모델은 아키텍처 변경 없이 표준 후행 작업과도 호환된다.
• 훈련 스케줄은 두 단계로 나뉘어진다: 먼저 의미 브랜치를 사전 훈련하고, 이후 두 브랜치를 함께 미세 조정하여 학습 목표 간의 갈등을 줄인다.
• 수정된 FPN 설계로 인해 수평 뒤집기가 훈련 중 비활성화되어, 뒤집힌 이미지의 공간적 특징과 원본 이미지 간의 불일치를 방지함으로써 후행 작업 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 대비 사전 훈련 기간 동안 공간 정보를 인코딩함으로써 시각 표현의 품질과 효율성이 향상되는가?
• RQ2 의미적 특징과 공간적 특징의 통합이 객체 검출 및 인스턴스 세분화와 같은 후행 작업 성능에 어떤 영향을 미치는가?
• RQ3 자르기 및 뒤집기와 같은 공간적으로 민감한 데이터 증강 기법으로 인한 학습 불일치 문제를 HCL가 줄일 수 있는가?
• RQ4 성능을 유지하거나 향상시키면서 사전 훈련 비용을 얼마나 줄일 수 있는가?
• RQ5 의미적 특징과 공간적 특징의 병합 사용이 표현의 밀도와 인스턴스 식별 정확도 측면에서 더 효율적인가?

주요 결과

• HCL는 사전 훈련 에포크 수를 절반으로 줄임에도 불구하고, MS-COCO 객체 검출에서 0.8% 높은 AP와 인스턴스 세분화에서 0.7% 높은 AP를 기록했다.
• 총 400에포크(각 단계 200에포크)의 훈련 스케줄을 사용한 HCL는 MoCo-v2의 800에포크 훈련을 능가하며, 뚜렷한 효율성 향상을 보였다.
• PCA 기반 압축 분석 결과, 반으로 의미적 특징, 반으로 공간적 특징을 가진 혼합 128D 특징은 동일한 차원의 순수 의미적 특징보다 더 높은 인스턴스 식별 정확도를 달성했다.
• 훈련 중 수평 뒤집기를 비활성화함으로써 검출 성능이 0.4% 향상되었고, LVIS 인스턴스 세분화에서 0.5% 향상되어, 공간적 학습과 의미적 학습 간의 갈등 감소를 시사했다.
• 공간 브랜치의 수정된 FPN 설계 덕분에 14×14 특징를 직접 출력함으로써 추가적인 다운샘플링을 방지하여 훈련 비용을 약 10% 감소시켰다.
• 이중 단계 훈련 스케줄 분석 결과, 의미 사전 훈련이 필수적임을 확인했으며, 이를 생략할 경우 검출 및 세분화 AP가 각각 0.5% 감소했다.