[논문 리뷰] The Devil is in the Tails: Fine-grained Classification in the Wild

Grant Van Horn, Pietro Perona|arXiv (Cornell University)|2017. 09. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 137

한 줄 요약

이 논문은 long-tailed real-world data (eBird, iNaturalist, and Pasadena Trees)가 최첨단 네트워크를 이용한 미세 분류에 미치는 영향을 분석하고, 헤드 클래스의 성능은 강하지만 테일 클래스의 악화가 심하고 헤드에서 테일로의 전이가 거의 없음을 보여준다.

ABSTRACT

The world is long-tailed. What does this mean for computer vision and visual recognition? The main two implications are (1) the number of categories we need to consider in applications can be very large, and (2) the number of training examples for most categories can be very small. Current visual recognition algorithms have achieved excellent classification accuracy. However, they require many training examples to reach peak performance, which suggests that long-tailed distributions will not be dealt with well. We analyze this question in the context of eBird, a large fine-grained classification dataset, and a state-of-the-art deep network classification algorithm. We find that (a) peak classification performance on well-represented categories is excellent, (b) given enough data, classification performance suffers only minimally from an increase in the number of classes, (c) classification performance decays precipitously as the number of training examples decreases, (d) surprisingly, transfer learning is virtually absent in current methods. Our findings suggest that our community should come to grips with the question of long tails.

연구 동기 및 목표

• 야생에서의 미세한 시각적 분류에 대해 긴 꼬리(head-tail) 분포가 미치는 영향을 강조한다.
• 잘 대표되는 헤드 클래스와 희소하게 대표되는 테일 클래스 간의 성능 차이를 정량화한다.
• 단일 도메인 장꼬리 설정에서 전달 학습 및 교차 클래스 지식 전달을 평가한다.

제안 방법

• ImageNet에서 사전학습된 Inception-v3를 사용하고 eBird에서 파생된 다양한 긴 꼬리 및 균일 데이터 세트에서 모든 층을 미세 조정한다.
• 헤드/테일 분할 및 클래스당 이미지 수가 제어된 균일한, 근사적 긴 꼬리, 전체 긴 꼬리 데이터 세트를 구성한다.
• 균일 대 자연 샘플링, 그리고 공통 헤드-테일 대 분리된 헤드 또는 테일 모델 학습 등의 학습 규칙을 비교한다.
• 테스트 시간에 중앙 자르기(center crop)로 검증/테스트 분할에서 top-1 정확도로 평가한다.
• 헤드/테일 데이터를 변화시키고 헤드 전용 vs 테일 전용 vs 공동 학습 결과를 보고하여 전달 효과를 분석한다.

실험 결과

연구 질문

• RQ1 단일 도메인 내에서 훈련 이미지의 긴 꼬리 분포가 미세한 분류에 어떤 영향을 미치는가?
• RQ2 단일 모델을 학습할 때 헤드 데이터와 테일 데이터의 영향을 전체 정확도 및 테일 클래스 정확도에 어떻게 나타나는가?
• RQ3 잘 대표되는 헤드 클래스에서 희소하게 대표되는 테일 클래스로의 전달 학습이나 지식 전달이 의미 있게 나타나는가?
• RQ4 샘플링 전략(균일 대 자연 분포)이 긴 꼬리 설정에서 테일 및 헤드 클래스 성능에 영향을 미치는가?

주요 결과

• 클래스당 수천 장의 이미지가 있을 때는 미세한 분류 정확도가 훌륭하지만 테일 클래스 예제가 줄어들수록 성능이 크게 저하된다.
• 충분한 데이터가 있으면 클래스 수를 늘리는 것이 성능을 약간만 해치며, 데이터 양이 정확도에 더 큰 영향을 준다.
• 헤드 및 테일 클래스 간 전달 학습은 현재 모델에서 미미하며, 헤드 클래스 데이터를 추가해도 단일 도메인 내에서 테일 클래스 성능이 의미 있게 개선되지 않는다.
• 헤드 클래스는 자연 샘플링에서 이점을 얻지만, 공동 학습 시 테일 클래스는 헤드 클래스 데이터로부터의 전달 혜택이 제한적이거나 없을 수 있다.
• 헤드 클래스에 충분한 데이터를 학습하더라도 테일 성능은 여전히 좋지 않으므로 저샷 및 전달 학습 접근 방식이 필요하다.