[논문 리뷰] Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification

Liuyu Xiang, Guiguang Ding외 1명|arXiv (Cornell University)|2020. 01. 06.

Anomaly Detection Techniques and Applications인용 수 16

한 줄 요약

이 논문은 장기적 희소 분포 문제를 해결하기 위해 다수의 전문 모델을 덜 불균형한, 카디널리티에 가까운 데이터 서브셋에서 훈련하고, 이를 적응적으로 통합 학습자 모델에 전달하는 자기주도적 지식 정복 프레임워크인 Learning From Multiple Experts (LFME)를 제안한다. 이 방법은 두 가지 적응적 스케줄링 메커니즘—자기주도 전문 모델 선택과 커리큘럼 인스턴스 선택—을 사용하여 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법 대비 평균 정확도에서 최대 3.2% 향상을 이룬다.

ABSTRACT

In real-world scenarios, data tends to exhibit a long-tailed distribution, which increases the difficulty of training deep networks. In this paper, we propose a novel self-paced knowledge distillation framework, termed Learning From Multiple Experts (LFME). Our method is inspired by the observation that networks trained on less imbalanced subsets of the distribution often yield better performances than their jointly-trained counterparts. We refer to these models as 'Experts', and the proposed LFME framework aggregates the knowledge from multiple 'Experts' to learn a unified student model. Specifically, the proposed framework involves two levels of adaptive learning schedules: Self-paced Expert Selection and Curriculum Instance Selection, so that the knowledge is adaptively transferred to the 'Student'. We conduct extensive experiments and demonstrate that our method is able to achieve superior performances compared to state-of-the-art methods. We also show that our method can be easily plugged into state-of-the-art long-tailed classification algorithms for further improvements.

연구 동기 및 목표

• 실세계 비전 작업에서 소수의 클래스가 부족하게 나타나는 장기적 희소 데이터 분포 문제를 해결하기 위해.
• 카디널리티에 가까운 덜 불균형한 데이터 서브셋에서 훈련된 다수의 전문 모델 지식을 활용하여 모델의 일반화 성능을 향상시키기 위해.
• 전문 모델에서 통합 학습자 모델로 효과적이고 점진적인 지식 전달을 가능하게 하는 이중 수준의 적응적 학습 체계를 설계하기 위해.
• 기존 최신 기술 수준의 방법들과 호환되면서도 장기적 희소 분류 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 장기적 희소성의 정도를 정량화하기 위해 네 가지 지표를 도입하여, 덜 불균형하고 카디널리티에 가까운 서브셋을 식별할 수 있도록 한다.
• 각 전문 모델은 이러한 서브셋에서 훈련되며, 각 전문 모델은 유사한 샘플 수를 가진 클래스 그룹(예: 다수 샘플, 중간 수 샘플, 소수 샘플)에 특화된다.
• 자기주도 전문 모델 선택은 정복 과정에서 각 전문 모델의 기여도를 동적으로 제어하여 학습자가 점진적으로 지식을 흡수하고 결국 개별 전문 모델을 초월하도록 한다.
• 커리큘럼 인스턴스 선택은 모델의 신뢰도 기반으로 학습 샘플을 쉬운 것에서 어려운 것으로 정렬하여 훈련의 안정성과 성능을 향상시킨다.
• 지식 정복은 학습자와 전문 모델 예측 간의 교차 엔트로피 손실을 사용하며, 자기주도 스케줄러를 통한 적응적 가중치 조정이 적용된다.
• 이 프레임워크는 즉시 적용 가능한 방식이며, 클래스 수준의 샘플링, 지식 정복, 손실 재가중과 같은 기존의 장기적 희소 학습 방법들과 호환된다.

실험 결과

연구 질문

• RQ1 전체 장기적 희소 분포에서의 공동 훈련 대비, 덜 불균형하고 카디널리티에 가까운 서브셋에서 훈련된 전문 모델이 더 높은 성능을 낼 수 있는가?
• RQ2 다수의 전문 모델에서 유일한 전문 모델을 초월할 수 있도록 지식을 적응적으로 통합 학습자 모델로 전달하는 방법은 무엇인가?
• RQ3 모델(전문 모델) 수준과 인스턴스 수준에서 학습 프로세스를 스케줄링하는 것이 장기적 희소 분류 성능에 미치는 영향는 어떠한가?
• RQ4 제안된 프레임워크는 기존 최신 기술 수준의 장기적 희소 학습 방법들과 효과적으로 조합되어 추가적인 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 LFME 프레임워크는 세 가지 벤치마크 장기적 희소 분류 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, iNaturalist-2012 데이터셋에서 평균 정확도 37.2%를 기록하여 이전 방법들을 능가하였다.
• 자기주도 전문 모델 선택(SpES)은 인스턴스 수준 및 클래스 수준 샘플링 기반 모델에서 각각 0.4%와 1.3%의 성능 향상을 이끌어내어 전문 모델의 성능 한계를 제거하였다.
• 커리큘럼 인스턴스 선택(CurIS)은 지식 정복 과정에서 발생하는 소수 샘플 정확도의 약간의 감소를 상쇄하여 정확도를 1.0% 향상시켰다.
• 클래스 수준 샘플링, 지식 정복, SpES, CurIS의 조합은 iNaturalist-2012에서 평균 정확도 47.1%를 기록하였으며, 단지 클래스 수준 샘플링과 지식 정복만을 사용한 기반 모델 대비 3.2% 향상된 성능을 보였다.
• 하이퍼파라미터 α에 대해 강건하며, α가 1.0에 도달할 때만 성능 저하가 발생함을 확인하여 적응적 스케줄링의 중요성을 입증하였다.
• T-SNE 시각화 결과 LFME가 더 밀도 있고 구조적인 특징 다각형을 생성함을 확인하였으며, 명시적 재가중 조치 없이도 분류 능력이 향상됨을 시사한다.