[논문 리뷰] Concept Learners for Few-Shot Learning

Kaidi Cao, Maria Brbić외 1명|arXiv (Cornell University)|2020. 07. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 4

한 줄 요약

이 논문은 인간이 이해할 수 있는 개념을 사용하여 개념별로 특화된 거리 공간을 학습함으로써 소수의 예시에서의 일반화 성능을 향상시키는 메타러닝 프레임워크인 COMET을 제안한다. 구조화된 개념 차원에 대해 독립적인 개념 학습자들을 훈련하고 그 예측을 앙상블함으로써 COMET은 다양한 소수의 예시 작업, 즉 이미지, 텍스트, 생물학적 데이터에서 최신 기술보다 6–15%의 상대적 정확도 향상을 달성한다. 또한 개념 기반 추론을 통해 본질적으로 해석 가능한 예측을 제공한다.

ABSTRACT

Developing algorithms that are able to generalize to a novel task given only a few labeled examples represents a fundamental challenge in closing the gap between machine- and human-level performance. The core of human cognition lies in the structured, reusable concepts that help us to rapidly adapt to new tasks and provide reasoning behind our decisions. However, existing meta-learning methods learn complex representations across prior labeled tasks without imposing any structure on the learned representations. Here we propose COMET, a meta-learning method that improves generalization ability by learning to learn along human-interpretable concept dimensions. Instead of learning a joint unstructured metric space, COMET learns mappings of high-level concepts into semi-structured metric spaces, and effectively combines the outputs of independent concept learners. We evaluate our model on few-shot tasks from diverse domains, including fine-grained image classification, document categorization and cell type annotation on a novel dataset from a biological domain developed in our work. COMET significantly outperforms strong meta-learning baselines, achieving 6-15% relative improvement on the most challenging 1-shot learning tasks, while unlike existing methods providing interpretations behind the model's predictions.

연구 동기 및 목표

• 메타러닝에 구조화되고 인간이 이해할 수 있는 개념을 통합하여 소수의 예시 학습에서의 일반화 격차를 해소하고자 한다.
• 낮은 데이터 환경에서 예측을 고수준의 재사용 가능한 개념에 기반시킴으로써 모델의 해석 가능성을 향상시키고자 한다.
• 수동으로 정의된 개념과 비지도 학습을 통한 개념 발견 모두에 대응할 수 있는 도메인에 관계없는 방법을 개발하고자 한다.
• 개념 차원을 따라 표현 학습을 수행할 경우 정확도를 희생시키지 않고도 일반화 성능을 향상시킬 수 있음을 입증하고자 한다.
• 메타러닝을 활용한 단일세포 생물학에서의 소수의 예시 학습을 위한 새로운 벤치마크를 구축하고자 한다.

제안 방법

• COMET은 개념별 신경 임bedding 함수를 사용하여 각 고수준 개념에 대해 별도의 거리 공간을 학습한다.
• 각 개념 학습자는 해당 개념 차원에서 클래스 수준의 차이를 반영하는 프로토타입을 정의하는 자신의 거리 공간을 가진다.
• 예측을 다수의 개념 학습자로부터 앙상블하여 정확도와 내성적 안정성을 향상시키는 가중치 기반 앙상블 메커니즘을 사용한다.
• 국소적 및 전역적 스코링 메커니즘을 통해 개념 중요도를 결정함으로써 잡음이 많거나 중복된 개념 집합에서 관련 있는 개념을 선택할 수 있다.
• 개념은 외부 지식 기반에서 유도되거나 데이터로부터 비지도 방식으로 발견될 수 있다.
• 아키텍처는 본질적으로 해석 가능하도록 설계되어 있으며, 설명은 개별 개념 학습자와 그 프로토타입의 기여도에서 유도된다.

실험 결과

연구 질문

• RQ1 인간이 이해할 수 있는 개념 차원을 따라 학습하면, 비구조화된 거리 공간 학습을 넘어서 소수의 예시 일반화 성능을 향상시킬 수 있는가?
• RQ2 생물학을 포함한 다양한 도메인에서 최신 기술의 메타러닝 기준 모델과 비교해 COMET의 성능은 어떠한가?
• RQ3 수동 레이블링 없이 비지도 개념 발견을 얼마나 효과적으로 활용할 수 있는가?
• RQ4 COMET은 낮은 데이터 환경에서 예측에 대해 충실하고 인간이 이해할 수 있는 설명을 제공할 수 있는가?
• RQ5 개념별 학습자들을 앙상블하는 것이 통합된 거리 공간 학습보다 더 나은 일반화 성능을 낼 수 있는가?

주요 결과

• COMET은 가장 도전적인 1-샷 학습 작업에서 강력한 메타러닝 기준 모델보다 6–15%의 상대적 정확도 향상을 달성한다.
• 모델은 세부적인 이미지 분류, 문서 분류, 그리고 생물학 분야에서 새로운 단일세포 전사체 벤치마크에서 기존 방법들을 크게 앞서간다.
• COMET은 각 결정에 기여한 개념과 프로토타입을 강조함으로써 본질적으로 해석 가능한 예측을 제공한다.
• 모델은 초기 개념 집합이 크거나 잡음이 많거나 중복되어도 효과적으로 일반화되며, 자동으로 가장 관련 있는 개념들을 선택한다.
• COMET은 수동으로 정의된 개념과 비지도 개념 발견 모두에서 뛰어난 성능을 보이며, 도메인에 관계없는 성질을 입증한다.
• 정량적 및 정성적 평가를 통해 COMET가 생성하는 설명은 인간의 사고 방식과 일치하며, 후행적 설명 방법보다 더 신뢰할 수 있다.