[논문 리뷰] Mutual Information-guided Knowledge Transfer for Novel Class Discovery

Chuyu Zhang, Chuanyang Hu외 4명|arXiv (Cornell University)|2022. 06. 24.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 제약된 레이블 공간 내에서 상호정보량을 최대화하여 본 적 있는 클래스와 본 적 없는 클래스 간의 의미 관계를 명시적으로 모델링함으로써, 새로운 클래스 탐지를 위한 상호정보량 유도 지식 전이 방법을 제안한다. 상호정보량을 활용해 의미 지식을 정렬함으로써, 다양한 벤치마크에서 최신 기술 수준을 상회하는 성능을 달성한다.

ABSTRACT

We tackle the novel class discovery problem, aiming to discover novel classes in unlabeled data based on labeled data from seen classes. The main challenge is to transfer knowledge contained in the seen classes to unseen ones. Previous methods mostly transfer knowledge through sharing representation space or joint label space. However, they tend to neglect the class relation between seen and unseen categories, and thus the learned representations are less effective for clustering unseen classes. In this paper, we propose a principle and general method to transfer semantic knowledge between seen and unseen classes. Our insight is to utilize mutual information to measure the relation between seen classes and unseen classes in a restricted label space and maximizing mutual information promotes transferring semantic knowledge. To validate the effectiveness and generalization of our method, we conduct extensive experiments both on novel class discovery and general novel class discovery settings. Our results show that the proposed method outperforms previous SOTA by a significant margin on several benchmarks.

연구 동기 및 목표

• 기존 방법들이 클래스 간 관계를 간과함으로써 본 적 있는 클래스에서 본 적 없는 클래스로 의미 지식을 전이하는 데에 한계를 가짐을 해결하기 위해.
• 본 적 있는 클래스와 본 적 없는 카테고리 간의 의미 관계를 명시적으로 모델링하여, 새로운 클래스에 대한 클러스터링 성능을 향상시키기 위해.
• 표준 및 일반적인 새로운 클래스 탐지 설정 모두에 효과적으로 작동하는 일반적이고 원리적인 지식 전이 프레임워크를 개발하기 위해.

제안 방법

• 제약된 레이블 공간 내에서 본 적 있는 클래스와 본 적 없는 클래스의 표현 간의 상호정보량을 최대화하여 의미 관계를 포착한다.
• 본 적 있는 클래스와 본 적 없는 클래스 간의 의미 지식 정렬을 장려하는 최적화 문제로 지식 전이를 공식화한다.
• 특징의 구분 능력을 향상시키면서도 본 적 있는 클래스와 본 적 없는 클래스의 임베딩 간의 상호정보량을 유지하기 위해 대비 학습 목표를 활용한다.
• 표준 및 일반적인 새로운 클래스 탐지 설정 모두에 적용 가능한 일반적인 프레임워크로 설계되어 있다.
• 예측된 본 적 없는 클래스의 레이블과 본 적 있는 클래스의 진짜 레이블 간의 상호정보량이 계산되는 표현 공간에서 작동한다.
• 기울기 기반 최적화를 통해 엔드 투 엔드 학습이 가능하도록, 상호정보량의 미분 가능한 근사치를 사용한다.

실험 결과

연구 질문

• RQ1 본 적 없는 클래스에 대한 레이블 데이터가 없을 경우, 어떻게 본 적 있는 클래스에서 본 적 없는 클래스로 의미 지식을 효과적으로 전이할 수 있는가?
• RQ2 본 적 있는 클래스와 본 적 없는 카테고리 간의 클래스 관계를 모델링함으로써, 새로운 클래스에 대한 클러스터링 성능은 어느 정도 향상되는가?
• RQ3 상호정보량은 소수의 샘플 또는 제로샷 클래스 탐지에서 지식 전이에 신뢰할 수 있고 효과적인 인덕티브 바이어스가 될 수 있는가?
• RQ4 제안된 방법은 일반적인 새로운 클래스 탐지 설정을 포함한 다양한 벤치마크와 설정에서 어떻게 일반화되는가?
• RQ5 공유 표현 공간이나 공동 레이블 공간과 같은 다른 지식 전이 메커니즘과 비교할 때, 상호정보량 최대화의 상대적 기여도는 어떠한가?

주요 결과

• 제안된 방법은 여러 벤치마크 데이터셋에서 새로운 클래스 탐지에 대해 최신 기술 수준의 성능을 달성한다.
• 이전의 최신 기술 수준 방법보다 뚜렷한 개선을 보이며, 본 적 없는 클래스에 대한 클러스터링 정확도에서 뚜렷한 향상을 보인다.
• 상호정보량을 지식 전이 신호로 사용함으로써, 본 적 있는 카테고리와 본 적 없는 카테고리 간의 더 의미적으로 정렬된 표현이 도출된다.
• 사전에 고정된 새로운 클래스 수가 아닐 경우에도 일반적인 새로운 클래스 탐지 설정에 잘 일반화된다.
• 실험 결과 상호정보량 최대화가 상호 클래스 간 의미 관계를 효과적으로 포착하여, 후속 클러스터링 성능을 향상시킨다.
• 제거 실험 결과 상호정보량 기반 지식 전이가 표준 표현 공유 또는 공동 레이블 공간 방법보다 더 효과적임을 확인한다.