[논문 리뷰] Multiple Pretext-Task for Self-Supervised Learning via Mixing Multiple Image Transformations

Shin’ya Yamaguchi, Sekitoshi Kanai외 2명|arXiv (Cornell University)|2019. 12. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 12

한 줄 요약

이 논문은 텍스처와 색상 의미를 포착하기 위해 회전 예측과 이미지 강조 전환(예: 선명화, 소라라이징)을 함께 최적화하는 다중 사전 과제 자기 지율 학습(MP-SSL)을 제안한다. 프랭크-울프 기반의 다중 과제 학습 전략을 사용하여 MP-SSL은 Places-205에서 최신 기준 성능을 달성하고, 여러 벤치마크에서 회전 예측 전용 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Self-supervised learning is one of the most promising approaches to learn representations capturing semantic features in images without any manual annotation cost. To learn useful representations, a self-supervised model solves a pretext-task, which is defined by data itself. Among a number of pretext-tasks, the rotation prediction task (Rotation) achieves better representations for solving various target tasks despite its simplicity of the implementation. However, we found that Rotation can fail to capture semantic features related to image textures and colors. To tackle this problem, we introduce a learning technique called multiple pretext-task for self-supervised learning (MP-SSL), which solves multiple pretext-task in addition to Rotation simultaneously. In order to capture features of textures and colors, we employ the transformations of image enhancements (e.g., sharpening and solarizing) as the additional pretext-tasks. MP-SSL efficiently trains a model by leveraging a Frank-Wolfe based multi-task training algorithm. Our experimental results show MP-SSL models outperform Rotation on multiple standard benchmarks and achieve state-of-the-art performance on Places-205.

연구 동기 및 목표

• 자기 지율 표현 학습에서 회전 예측의 한계를 해결하여 이미지 텍스처와 색상 의미를 더 잘 포착하고자 한다.
• 회전 이외의 다수의 사전 과제를 통합하여 일반화 능력과 특징 다양성을 향상시키고자 한다.
• 다양한 사전 과제를 동시에 최적화할 수 있는 효율적인 다중 과제 학습 프레임워크를 개발하고자 한다.
• 특히 미세한 시각적 의미를 포착하는 데서 표준 비전 벤치마크에서 뛰어난 성능을 달성하고자 한다.

제안 방법

• 이미지 강조 전환(예: 선명화, 소라라이징)을 적용하여 추가적인 자기 지율 목표로 삼고, 회전 예측과 함께 다수의 사전 과제를 도입한다.
• 다양한 사전 과제를 동시에 효율적으로 균형 잡고 학습하기 위해 프랭크-울프 기반 최적화 알고리즘을 사용한다.
• 동일한 이미지의 증강된 뷰들로부터 특징을 추출하기 위해 공유 백본 네트워크를 사용하며, 각 뷰는 서로 다른 전환을 거친다.
• 각 사전 과제를 분류 문제로 정의하여 주어진 이미지 뷰에 적용된 전환을 예측하도록 한다.
• 동일한 입력 이미지를 다양한 증강 방식으로 처리하여 학습 중에 다양한 감독 신호를 생성한다.
• 모든 사전 과제의 교차 엔트로피 손실을 조합한 다중 과제 손실을 사용하여 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 이미지 강조 전환을 포함한 다수의 사전 과제를 조합하면, 단순한 회전 예측만으로는 부족한 표현 학습을 향상시킬 수 있는가?
• RQ2 텍스처 및 색상에 민감한 전환을 포함할 경우, 다운스트림 비전 과제에서의 성능에 어떤 영향을 미치는가?
• RQ3 프랭크-울프 기반의 다중 과제 학습 전략은 성능 저하 없이 다수의 사전 과제를 효과적으로 균형 잡을 수 있는가?
• RQ4 MP-SSL은 ImageNet 및 Places-205와 같은 표준 벤치마크에서 표준 회전 전용 자기 지율 학습보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• MP-SSL은 Places-205 데이터셋에서 최신 기준 성능을 달성하여 이전의 자기 지율 학습 방법들을 능가한다.
• 회전 전용 기준 모델 대비 여러 다운스트림 과제에서 제로샷 및 피넷팅 정확도가 일관되게 향상된다.
• 이미지 강조 전환의 통합은 모델이 텍스처와 색상 의미를 포착하는 능력을 크게 향상시킨다.
• 프랭크-울프 기반의 다중 과제 학습 전략은 여러 사전 과제 간에 안정적이고 효과적인 최적화를 가능하게 한다.
• MP-SSL은 ImageNet 및 CIFAR-100을 포함한 다양한 벤치마크에서 강력한 일반화 능력을 보였다.
• 제거 실험을 통해 회전 과제와 강조 과제 모두가 최종 표현 품질에 독립적으로 기여한다는 것이 확인되었다.