[논문 리뷰] Self-Supervised Learning for Fine-Grained Image Classification

Farha Al Breiki, Muhammad Ridzuan외 1명|arXiv (Cornell University)|2021. 07. 29.

Image Processing and 3D Reconstruction인용 수 4

한 줄 요약

이 논문은 세 가지 프리텍스트 작업인 퍼즐 조립, 적대적 초해상도(SRGAN), 대비 학습(SimCLR)을 사용하여 세분화된 이미지 분류를 위한 자기지도 학습(SSL)을 조사한다. 카사바 병해충 데이터셋에서 최종 검증 정확도 83%를 달성하여, SSL이 광범위한 인간 레이블링 없이도 구분 가능한 특징을 효과적으로 학습할 수 있음을 보여주지만, 88%의 감독 기반 기준 모델에 비해 성능이 뒤처짐.

ABSTRACT

Fine-grained image classification involves identifying different subcategories of a class which possess very subtle discriminatory features. Fine-grained datasets usually provide bounding box annotations along with class labels to aid the process of classification. However, building large scale datasets with such annotations is a mammoth task. Moreover, this extensive annotation is time-consuming and often requires expertise, which is a huge bottleneck in building large datasets. On the other hand, self-supervised learning (SSL) exploits the freely available data to generate supervisory signals which act as labels. The features learnt by performing some pretext tasks on huge unlabelled data proves to be very helpful for multiple downstream tasks. Our idea is to leverage self-supervision such that the model learns useful representations of fine-grained image classes. We experimented with 3 kinds of models: Jigsaw solving as pretext task, adversarial learning (SRGAN) and contrastive learning based (SimCLR) model. The learned features are used for downstream tasks such as fine-grained image classification. Our code is available at http://github.com/rush2406/Self-Supervised-Learning-for-Fine-grained-Image-Classification

연구 동기 및 목표

• 세분화된 이미지 분류에 있어 고비용 전문가 레이블링이 필요한 데이터셋에 대한 의존도를 줄이기 위해 자기지도 학습(SSL)을 활용하고자 한다.
• 세분화된 분류 성능에 대해 다양한 SSL 프리텍스트 작업—조립 퍼즐, 적대적 초해상도, 대비 학습—의 효과를 평가하고자 한다.
• 자기지도 학습 표현이 세분화된 시각 인식에서 감독 모델의 성능을 따라잡거나 근접시킬 수 있는지 조사하고자 한다.
• 텍스처와 형태와 같은 구분 가능한 특징을 학습할 수 있는 모델 능력을 분석하고, 색상 구분 능력이 떨어지는 등의 한계를 밝혀내고자 한다.

제안 방법

• 12,000개의 레이블이 없는 카사바 잎 이미지에서 세 가지 SSL 방법을 사용해 사전 학습된 모델을 훈련시켰다: 퍼즐 조립, SRGAN 기반 초해상도 복원, SimCLR 대비 학습.
• 퍼즐 작업의 경우, 이미지를 3×3 패치로 나누고 모델이 올바른 패치 배열을 예측하도록 하여 공간적 및 국소적 특징 학습을 장려했다.
• SRGAN의 경우, 생성자는 저해상도 입력에서 고해상도 이미지를 복원하도록 훈련되었고, 판별자는 진짜 이미지와 생성된 이미지를 구분하도록 훈련되었다.
• SimCLR의 경우, 패치 교환, 굵은 드롭아웃, 퍼즐 변형 등의 데이터 증강 기법을 적용하여 대비 학습을 위한 양의 시각(positive views)을 생성했다.
• 학습된 특징을 사용해 6,000개의 레이블이 부여된 이미지에서 최종 분류를 수행했으며, 클래스 불균형 문제를 해결하기 위해 데이터 증강과 클래스 가중치를 적용했다.
• 모델 성능은 검증 정확도로 평가했고, Grad-CAM 시각화를 통해 학습된 주의 집중 영역과 특징 중요도를 해석했다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 통해 인간 레이블링이 없는 바운딩 박스나 부분 수준의 지도 없이도 세분화된 시각적 표현을 효과적으로 학습할 수 있는가?
• RQ2 다양한 SSL 프리텍스트 작업—조립, 적대적 초해상도, 대비 학습—간의 성능 비교는 어떻게 이루어지는가?
• RQ3 자기지도 학습 모델이 텍스처와 형태와 같은 구분 가능한 특징을 얼마나 잘 학습할 수 있으며, 색상 기반 차이를 인식하는 데에는 어떤 한계가 존재하는가?
• RQ4 특히 SRGAN의 생성자에서 드롭아웃을 통한 정규화가 특징 학습에 도움이 되는가?
• RQ5 자기지도 학습 모델이 세분화된 분류 과제에서 감독 기반 기준 모델에 근접한 성능을 달성할 수 있는가?

주요 결과

• 드롭아웃 비율 0.5를 사용할 때 SRGAN 생성자가 83.3%의 최고의 최종 분류 정확도를 기록하여 다른 SSL 방법을 압도했다.
• 기준 감독 모델은 88%의 정확도를 기록하여, SSL이 유망하지만 여전히 이 설정에서 완전히 감독 학습에 비해 뒤처진다는 것을 시사한다.
• 조립 퍼즐 프리텍스트 작업은 세 가지 SSL 방법 중에서 가장 성능이 열악했으며, 이 데이터셋에서는 세분화된 차이를 포착하는 데에 한계가 있음을 시사한다.
• Grad-CAM 시각화 결과, SRGAN 생성자는 초기에 잎의 특징에 집중하지 못했지만, 드롭아웃을 추가한 후에는 관련된 잎 영역에 주의를 기울이게 되었고, 판별자보다 성능이 뛰어났다.
• 색상 차이를 구분하는 데에 어려움을 겪었으며, 서로 다른 색조를 띤 잎이 잘못 분류된 실패 사례를 통해 이를 확인할 수 있었다.
• 드롭아웃 정규화가 특징 학습을 크게 향상시켰고, 특히 SRGAN 생성자에서 두드러진 효과를 보여, 판별자보다도 높은 분류 성능을 달성하도록 했다.