[논문 리뷰] Weak-shot Fine-grained Classification via Similarity Transfer

Junjie Chen, Li Niu외 2명|arXiv (Cornell University)|2020. 09. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 9

한 줄 요약

이 논문은 깨끗한 기본 카테고리 세트에서 웹에서 수집한 노이즈가 있는 신규 카테고리로 쌍별 의미적 유사도를 전이하는 약한 샘플 설정의 세분화된 분류 방법인 SimTrans를 제안한다. 샘플 가중치와 그래프 정규화를 활용한 유사도 전이를 통해 웹 데이터의 노이즈를 효과적으로 제거하고, 일반화된 약한 샘플 설정에서 SOTA 성능을 달성하며, FGVC에서 기준선 대비 최대 4.8% 향상되고, CUB에서 최대 5.4% 향상된다.

ABSTRACT

Recognizing fine-grained categories remains a challenging task, due to the subtle distinctions among different subordinate categories, which results in the need of abundant annotated samples. To alleviate the data-hungry problem, we consider the problem of learning novel categories from web data with the support of a clean set of base categories, which is referred to as weak-shot learning. In this setting, we propose a method called SimTrans to transfer pairwise semantic similarity from base categories to novel categories. Specifically, we firstly train a similarity net on clean data, and then leverage the transferred similarity to denoise web training data using two simple yet effective strategies. In addition, we apply adversarial loss on similarity net to enhance the transferability of similarity. Comprehensive experiments demonstrate the effectiveness of our weak-shot setting and our SimTrans method. Datasets and codes are available at https://github.com/bcmi/SimTrans-Weak-Shot-Classification.

연구 동기 및 목표

• 세분화된 이미지 분류에서 데이터가 많은 문제, 특히 레이블이 없는 신규 카테고리에 대해 해결한다.
• 자유롭게 이용 가능한 웹 이미지를 활용하는 신규 카테고리에 대해, 깨끗한 기본 카테고리 세트를 기반으로 한 약한 샘플 학습 프레임워크를 개발한다.
• 기본 카테고리에서 유사도를 전이하여 웹에서 수집한 데이터의 레이블 노이즈를 완화한다.
• 유사도 네트워크에 적대적 손실를 통합하여 기초 및 신규 카테고리 간의 일반화 및 전이 능력을 향상시킨다.
• 유사도 전이와 웹 기반 감독 학습을 조합하여 세분화된 분류에서의 효과성을 입증한다.

제안 방법

• 깨끗한 기본 카테고리 이미지에서 유사도 네트워크(SimNet)를 훈련시켜 이미지 쌍 간의 쌍별 의미적 유사도를 예측한다.
• 훈련된 SimNet을 신규 세분화된 카테고리의 웹 이미지에 적용하여, 서로 다른 카테고리 세트임에도 불구하고 카테고리 간 유사도 전이를 가능하게 한다.
• 서로 다른 이미지와 유사도가 낮은 이미지를 가중치를 낮춰 노이즈 레이블의 영향을 줄인다.
• 의미적으로 유사한 이미지의 특징을 임베딩 공간에서 가까이 모으기 위해 그래프 정규화를 적용하여 레이블 노이즈에 대한 강건성을 향상시킨다.
• 기본 카테고리와 신규 카테고리 간의 일반화 및 전이 능력을 향상시키기 위해 유사도 네트워크에 적대적 손실를 통합한다.
• 기반 분류기 헤드를 웹 데이터에서 훈련시킨 유사도 기반 노이즈 제거와 융합 전략(Fusion1/Fusion2)을 사용하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 깨끗한 기본 카테고리 세트에서 학습한 쌍별 의미적 유사도가 웹에서 수집한 신규 세분화된 카테고리의 이미지를 효과적으로 노이즈 제거하기 위해 전이될 수 있는가?
• RQ2 전문가가 레이블링한 속성이나 소수의 예시가 없을 경우, 유사도 전이가 제로샷 또는 패기샷 학습에 비해 성능과 실용성 면에서 어떻게 비교되는가?
• RQ3 전이된 유사도 기반의 샘플 가중치와 그래프 정규화가 약한 감독 설정에서 분류기의 레이블 노이즈에 대한 강건성에 얼마나 기여하는가?
• RQ4 일반화된 약한 샘플 설정에서, 테스트 데이터에 기본 카테고리와 신규 카테고리가 모두 포함될 경우, 제안된 방법의 성능은 어떠한가?
• RQ5 웹 이미지 수량, 노이즈 비율, 백본 선택이 방법의 강건성과 확장성에 어떤 영향을 미치는가?

주요 결과

• SimTrans는 일반화된 약한 샘플 설정에서 FGVC 데이터셋에서 81.7%의 정확도를 달성하여 최고의 기준선(Fusion2)보다 2.4% 높다.
• CUB 데이터셋에서는 SimTrans가 76.9%의 정확도를 기록하여 다음으로 좋은 방법(Fusion2)보다 1.9점 향상되었다.
• Car 데이터셋에서는 SimTrans가 80.4%의 정확도를 달성하여 최고의 기준선(Fusion2)보다 2.3점 높았다.
• Car, CUB, FGVC 세 데이터셋 전반에 걸쳐 일관된 성능 향상을 보이며, 다양한 데이터 스케일과 도메인 이동에 대한 강건성을 입증했다.
• 강건성 분석 결과, 카테고리당 약 800장 이상의 웹 이미지에서 성능이 포화 상태에 도달하며, 노이즈 비율과 백본 선택에 관계없이 안정적인 성능 유지를 확인했다.
• 제거 분석 결과, 유사도 기반 노이즈 제거(SimNet의 샘플 가중치와 그래프 정규화)를 웹 기반 감독 학습과 융합할 경우 개별 구성요소보다 뛰어난 성능을 얻는다.