[논문 리뷰] Fine-Grain Few-Shot Vision via Domain Knowledge as Hyperspherical Priors

B. Haney, Alexander Lavin|arXiv (Cornell University)|2020. 05. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 7

한 줄 요약

이 논문은 도메인 지식을 정보적인 사전 지식으로 통합하여 소수의 샘플로도 정교한 시각 분류 성능을 향상시키는 초구형 프로토타입 네트워크를 제안한다. 예를 들어 새의 색상, 날개 무늬와 같은 사전 정보를 활용해 클래스 프로토타입을 초구면에 매핑함으로써, CUB-200-2011 데이터셋에서 최신 기술(SOTA) 수준의 1-shot 정확도 59.48%를 달성하였고, 표준 유클리드 프로토타입 네트워크 대비 학습 시간을 5배 빠르게 하였다.

ABSTRACT

Prototypical networks have been shown to perform well at few-shot learning tasks in computer vision. Yet these networks struggle when classes are very similar to each other (fine-grain classification) and currently have no way of taking into account prior knowledge (through the use of tabular data). Using a spherical latent space to encode prototypes, we can achieve few-shot fine-grain classification by maximally separating the classes while incorporating domain knowledge as informative priors. We describe how to construct a hypersphere of prototypes that embed a-priori domain information, and demonstrate the effectiveness of the approach on challenging benchmark datasets for fine-grain classification, with top results for one-shot classification and 5x speedups in training time.

연구 동기 및 목표

• 작은 클래스 간 차이로 인해 모델 성능이 저하되는 소수의 샘플로도 정교한 분류 문제를 해결하기 위해.
• 잠재 공간에 사전 정보 도메인 지식(예: 이진 속성)을 통합하여 프로토타입의 일반화 능력을 향상시키기 위해.
• 비유클리드 초구형 기하학을 활용하여 고차원 임베딩에서 더 나은 프로토타입 분리와 강건성을 확보하기 위해.
• 사전에 계산된 사전 지식을 통해 데이터에 종속되지 않는 프로토타입 최적화를 가능하게 하여 학습 시간을 단축시키기 위해.
• 의미론적 사전 지식이 정교한 작업에서 클러스터링과 추론 안정성에 기여하는지 확인하기 위해.

제안 방법

• 클래스 프로토타입이 최대 각도 분리로 이루어지도록 초구형 잠재 공간을 사용하여 분류 가능성을 향상시킨다.
• 도메인 지식은 이진 속성(예: 날개 색상, 뒷면 색상)으로 인코딩되며, 코사인 유사도 최대화를 통해 초구면 상의 프로토타입 위치를 계산한다.
• 모든 두 클래스 프로토타입 간 최대 코사인 유사도를 최소화하는 제약 조건이 있는 최적화를 통해 사전에 프로토타입을 초기화한다.
• 추론은 이미지 임베딩과 모든 클래스 프로토타입 간의 코사인 유사도를 계산하고 유사도가 가장 높은 클래스를 선택함으로써 수행된다.
• 모델은 ResNet32 백본을 사용하며, SGD 최적화와 표준 데이터 증강(랜덤 컷, 수평 반전)을 적용한다.
• 초구형 프로토타입 공간은 한 번만 학습되고 재사용되며, 이로 인해 데이터에 종속되지 않는 최적화가 가능해지고 학습 속도가 빨라진다.

실험 결과

연구 질문

• RQ1 이진 속성으로 인코딩된 도메인 지식이 소수의 샘플로도 정교한 분류 성능을 향상시키는가?
• RQ2 사전 지식이 있는 초구형 잠재 공간이 유클리드 또는 최대 분포 초구면 공간보다 더 나은 프로토타입 분리와 강건성을 제공하는가?
• RQ3 데이터에 종속되지 않는 프로토타입 초기화가 정확도를 희생시키지 않고 학습 시간을 단축시킬 수 있는가?
• RQ4 고차원에서 초구형 모델이 표면 영역 붕괴 문제를 피하는가?
• RQ5 의미론적 사전 지식의 통합이 정교한 작업에서 클러스터링과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CUB-200-2011 데이터셋에서 1-shot 다섯 방향 정확도 59.48%를 달성하였으며, 표준 유클리드 및 최대 분포 초구형 프로토타입보다 뛰어난 성능을 보였다.
• 학습 시간이 5배 빨라졌으며, GeForce RTX 2080 Ti에서 에포크당 학습 시간이 96초에서 20초로 단축되었다.
• 64차원 또는 128차원의 고차원 초구면에서도 안정된 성능 유지를 보였으며, 표면 영역 붕괴나 불안정성의 징후가 없었다.
• T-SNE 시각화 결과에서 의미론적으로 유사한 클래스(예: 참새)가 함께 군집되어 있음을 확인했으며, 도메인 사전 지식의 포함이 프로토타입의 정확한 위치 결정에 크게 기여함을 보였다.
• 5-shot 다섯 방향 설정에서 71.19%의 정확도를 달성하여 소수의 예시로부터 강력한 일반화 능력을 보였다.
• 입력 노이즈에 대해 강건성을 보였으며, 노이즈가 있는 Baird 참새 이미지를 참새로 정확히 분류하고 의미적으로 유사하지만 다른 클래스(미국 파이핏)에는 낮은 신뢰도를 부여하였다.