[논문 리뷰] Compositional Few-Shot Recognition with Primitive Discovery and Enhancing

Yixiong Zou, Shanghang Zhang외 4명|arXiv (Cornell University)|2020. 05. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 5

한 줄 요약

이 논문은 자기지도적 객체 분할 순서 예측을 통해 알려진 클래스로부터 시각적 원소를 탐지하고, 부드러운 조합 기반 메커니즘을 통해 중요한 원소를 강화함으로써 복합적 소수 샘플 학습 프레임워크를 제안한다. 원소 탐지와 강화를 동시에 학습시킴으로써, 희소성과 특징 시각화를 통해 해석 가능성까지 향상된 소수 샘플 이미지 및 영상 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot learning (FSL) aims at recognizing novel classes given only few training samples, which still remains a great challenge for deep learning. However, humans can easily recognize novel classes with only few samples. A key component of such ability is the compositional recognition that human can perform, which has been well studied in cognitive science but is not well explored in FSL. Inspired by such capability of humans, to imitate humans' ability of learning visual primitives and composing primitives to recognize novel classes, we propose an approach to FSL to learn a feature representation composed of important primitives, which is jointly trained with two parts, i.e. primitive discovery and primitive enhancing. In primitive discovery, we focus on learning primitives related to object parts by self-supervision from the order of image splits, avoiding extra laborious annotations and alleviating the effect of semantic gaps. In primitive enhancing, inspired by current studies on the interpretability of deep networks, we provide our composition view for the FSL baseline model. To modify this model for effective composition, inspired by both mathematical deduction and biological studies (the Hebbian Learning rule and the Winner-Take-All mechanism), we propose a soft composition mechanism by enlarging the activation of important primitives while reducing that of others, so as to enhance the influence of important primitives and better utilize these primitives to compose novel classes. Extensive experiments on public benchmarks are conducted on both the few-shot image classification and video recognition tasks. Our method achieves the state-of-the-art performance on all these datasets and shows better interpretability.

연구 동기 및 목표

• 소수 샘플 시각 인식 과제에 도전하는 데서, 단지 몇 개의 샘플만으로도 새로운 클래스에 일반화할 수 있는 모델이 요구된다.
• 기존 클래스로부터 재사용 가능한 시각적 원소를 학습함으로써 인간과 유사한 복합적 인식을 모방한다.
• 비용이 많이 드는 애너테이션에 대한 의존도를 줄이고, 기존 클래스와 새로운 클래스 간의 의미적 격차를 완화한다.
• 특징 표현에서 가장 영향력 있는 원소를 식별하고 강화함으로써 모델의 해석 가능성을 향상시킨다.
• 원소 탐지와 강화의 공동 최적화를 통해 소수 샘플 인식 성능을 초월하는 성과를 달성한다.

제안 방법

• 이미지 분할 순서 예측을 통한 자기지도적 방식으로 원소 탐지를 달성한다: 이미지가 수평 및 수직으로 분할되고, 모델은 분할 순서의 순열을 예측함으로써 객체 부분을 원소로 인식하도록 유도한다.
• 분할 순서에서 유도되는 구조적 지도 정보를 활용해 명시적 애너테이션 없이도 부분과 관련된 원소를 학습함으로써 의미적 격차의 영향을 감소시킨다.
• 헤비안 학습과 승자독점 동역학에 영감을 받아, 중요한 원소의 활성화를 증가시키고 덜 관련성이 있는 원소를 억제함으로써 원소 강화를 위한 부드러운 조합 기반 메커니즘을 도입한다.
• 원소 중요도를 측정하기 위해 학습 가능한 가중치 행렬 W를 사용하며, 핵심 원소의 선택적 활성화를 촉진하기 위해 희소성 손실을 적용한다.
• 고도의 활성화를 가진 원소의 영향력을 증폭시키기 위해 엔트로피 정규화(ER) 손실을 적용하여 분류에 기여도를 향상시킨다.
• 코사인 분류기와 엔드 투 엔드 최적화를 함께 사용하여, 학습된 원소들로부터 새로운 클래스를 효과적으로 조합할 수 있도록 프레임워크를 공동으로 학습시킨다.

실험 결과

연구 질문

• RQ1 이미지 분할 순서에서 자기지도적 학습이 인간의 애너테이션 없이도 부분과 관련된 시각적 원소를 효과적으로 탐지할 수 있는가?
• RQ2 특징 조합 과정에서 중요한 시각적 원소를 어떻게 동적으로 강화할 수 있는가? 이는 소수 샘플 인식 성능 향상에 기여한다.
• RQ3 기존의 표준 FSL 기반 모델 대비 제안된 부드러운 조합 기반 메커니즘이 새로운 클래스로의 일반화 성능 향상에 얼마나 기여하는가?
• RQ4 학습된 원소들이 기존 클래스와 새로운 클래스 간에 의미적으로 해석 가능하고 공유 가능한가?
• RQ5 원소 탐지와 강화의 공동 학습이 소수 샘플 이미지 및 영상 인식에서 더 나은 성능과 해석 가능성 향상에 기여하는가?

주요 결과

• 제안된 방법은 평가된 모든 소수 샘플 이미지 및 영상 인식 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 FSL 방법들을 능가한다.
• 제거 실험을 통해 원소 탐지, 희소성 손실, ER 손실 각각이 모델 성능 향상에 긍정적인 기여를 한다는 것이 확인되었다.
• 단지 15개의 특징 채널만으로도 새로운 클래스 분류 정확도의 95%를 복원할 수 있어, 학습된 원소의 희소성과 효율성을 입증한다.
• 가중치 행렬 W의 상위 5개 채널이 기존 클래스 분류 성능의 대부분을 차지함으로써, W가 원소 중요도를 신뢰할 만한 척도로 사용할 수 있음을 검증한다.
• 시각화 결과는 기존 클래스와 새로운 클래스 간에 공유되는 원소들이 해석 가능한 객체 부분(예: 다리, 목, 가슴)과 대응됨을 보여주며, 복합적 일반화가 이루어졌음을 확인한다.
• 주목할 만한 원소들이 인간이 이해할 수 있는 객체 구성 요소(예: 개 같은 가슴, 낚시대 같은 목)와 일치함으로써, 모델의 해석 가능성 향상이 이루어졌음을 입증한다.