[논문 리뷰] Negative Margin Matters: Understanding Margin in Few-shot Classification

Bin Liu, Yue Cao외 5명|arXiv (Cornell University)|2020. 03. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 33

한 줄 요약

본 논문은 softmax 손실에서 음의 여백을 사용하면 기본 클래스의 판별력과 새로운 클래스에 대한 전이 가능성을 균형 있게 하여 적은 샷(class) 분류를 개선하고, 표준 벤치마크에서 최첨단 성능을 달성함을 보인다.

ABSTRACT

This paper introduces a negative margin loss to metric learning based few-shot learning methods. The negative margin loss significantly outperforms regular softmax loss, and achieves state-of-the-art accuracy on three standard few-shot classification benchmarks with few bells and whistles. These results are contrary to the common practice in the metric learning field, that the margin is zero or positive. To understand why the negative margin loss performs well for the few-shot classification, we analyze the discriminability of learned features w.r.t different margins for training and novel classes, both empirically and theoretically. We find that although negative margin reduces the feature discriminability for training classes, it may also avoid falsely mapping samples of the same novel class to multiple peaks or clusters, and thus benefit the discrimination of novel classes. Code is available at https://github.com/bl0/negative-margin.few-shot.

연구 동기 및 목표

• 오픈 세트 소수 샷 설정에서 왜 여백이 음수여야 하는지 동기를 부여한다.
• 소수 샷 태스크에서 거리 기반 학습을 위한 음수 여백 softmax와 음수 여백 코사인 softmax 손실을 도입한다.
• 여백이 기본 클래스와 신규 클래스의 판별력에 어떤 영향을 미치는지 분석한다.
• 여러 백본에 걸친 표준 소수 샷 벤치마크에서 최첨단 성능을 시연한다.

제안 방법

• 음수 여백 softmax 손실(Neg-Softmax)과 음수 여백 코사인 softmax 손실(Neg-Cosine)을 공식화한다.
• 내적 또는 코사인 유사도와 함께 소프트맥스 목적에 여백을 통합한다.
• 여백 효과를 분석하기 위해 클래스 중심, 클래스 간 및 클래스 내 분산, 그리고 판별력 함수 phi를 정의하고 계산한다.
• 일정한 조건에서 음의 여백이 신규 클래스의 판별력을 향상시킬 수 있음을 보이는 이론적 분석을 제공한다.
• 음수 여백 손실로 기본 클래스에서 선행 학습을 하고, 그 다음 신규 클래스를 위한 분류기를 미세 조정하는 2단계 학습 프레임워크를 채택한다.

실험 결과

연구 질문

• RQ1 소프트맥스 학습에서 음의 여백이 소수 샷 설정에서 신규 클래스에 대한 전이 가능성을 향상시키는가?
• RQ2 여백이 기본 클래스와 신규 클래스의 판별력에 경험적‧이론적으로 어떤 영향을 미치는가?
• RQ3 음수 여백 손실이 서로 다른 백본과 데이터셋에서 표준 소수 샷 벤치마크에서 최첨단 성능을 달성할 수 있는가?
• RQ4 교차 도메인 및 세분화된 설정에서 여백 부호가 오픈 세트 소수 샷 분류에 미치는 실제 효과는 무엇인가?

주요 결과

• 음수 여백 softmax 손실은 소수 샷 분류에서 일반 softmax 손실보다 더 나은 성능을 보일 수 있다.
• Neg-Cosine은 1-shot 및 5-shot 설정 모두에서 여러 백본에 걸쳐 mini-ImageNet에서 종종 최첨단 결과를 달성한다.
• 양의 여백을 증가시키면 기본 클래스의 판별력이 향상되지만 신규 클래스의 판별력은 악화되고, 반대로 음의 여백은 신규 클래스 판별력에 더 나은 트레이드를 제공한다.
• 실험적 및 이론적 분석은 음의 여백이 신규 클래스 샘플을 기본 클래스 간의 여러 피크로 매핑하는 위험을 줄여 전이 가능성을 돕는다는 것을 보여준다.
• 정규화 기법(가중치 감소, DropBlock 등)이 성능을 더욱 향상시켜 여러 벤치마크에서 강력한 결과를 달성한다.