[논문 리뷰] Distilling Virtual Examples for Long-tailed Recognition

Yin-Yin He, Jianxin Wu외 1명|arXiv (Cornell University)|2021. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 5

한 줄 요약

이 논문은 장기적 분포 인식 문제를 해결하기 위해 교사 모델의 예측을 가상 예시로 간주하는 지식 증류 방법인 Distilling Virtual Examples (DiVE)를 제안한다. 온도 스케일링과 정규화를 통해 가상 예시 분포를 평탄하게 하여 꼬리 클래스 성능을 명시적으로 향상시키며, CIFAR-100-LT, ImageNet-LT, iNaturalist2018 데이터셋에서 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

We tackle the long-tailed visual recognition problem from the knowledge distillation perspective by proposing a Distill the Virtual Examples (DiVE) method. Specifically, by treating the predictions of a teacher model as virtual examples, we prove that distilling from these virtual examples is equivalent to label distribution learning under certain constraints. We show that when the virtual example distribution becomes flatter than the original input distribution, the under-represented tail classes will receive significant improvements, which is crucial in long-tailed recognition. The proposed DiVE method can explicitly tune the virtual example distribution to become flat. Extensive experiments on three benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed DiVE method can significantly outperform state-of-the-art methods. Furthermore, additional analyses and experiments verify the virtual example interpretation, and demonstrate the effectiveness of tailored designs in DiVE for long-tailed problems.

연구 동기 및 목표

• 데이터 불균형으로 인해 부족하게 표현된 꼬리 클래스에서 성능이 떨어지는 장기적 분포 인식 문제를 해결하기 위해.
• 모델 예측을 가상 예시로 해석하여 서로 다른 카테고리 간의 상호작용을 활용함으로써 지식을 카테고리 간 전이하는 것을 목적으로 한다.
• 가상 예시의 분포를 명시적으로 제어하여 더 평탄하고 균형 잡힌 분포를 유도함으로써 꼬리 클래스의 일반화 성능을 향상시키기 위해.
• iNaturalist와 같은 대규모 실세계 장기적 분포 벤치마크에서 기존 최신 기술 수준(SOTA) 방법들을 능가하는 방법을 개발하기 위해.

제안 방법

• 가상 예시는 모든 훈련 샘플에 대해 모델이 예측한 클래스 확률로 정의되며, 각 입력이 제공하는 소프트한 카테고리 수준 기여로 간주된다.
• 교사 모델의 가상 예시에서 학생 모델로 지식 증류를 적용함으로써 카테고리 간 효과적인 지식 전이가 가능해진다.
• 교사 모델의 출력 분포를 부드럽게 하기 위해 온도 스케일링 전략을 사용하여 가상 예시 분포를 더 평탄하고 균형 잡힌 상태로 만든다.
• 가상 예시 분포에 대한 명시적 제어를 가능하게 하기 위해 파wr 정규화와 레이블 분포 학습(DLDL)을 근사하는 증류 손실을 통합한다.
• 증류 타겟으로 진정한 레이블을 직접 사용하는 것을 피하고, 대신 모델 자체의 예측에 기반하여 카테고리 간 상호작용을 촉진한다.
• 최종 손실은 부드러운 교사 출력에서의 증류와 균형 잡힌 감독 신호를 결합하여 꼬리 클래스로의 일반화 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 예측(가상 예시)에서의 지식 증류가 시각 인식에서 장기적 데이터 편향을 효과적으로 완화할 수 있는가?
• RQ2 가상 예시의 분포가 장기적 인식 모델의 성능에 어떤 영향을 미치는가?
• RQ3 온도 스케일링과 정규화를 통해 가상 예시 분포를 평탄하게 만들면 꼬리 클래스에서의 일반화 성능 향상이 이루어지는가?
• RQ4 가상 예시 해석은 장기적 인식에 유효하고 효과적인가? 기존의 재가중 또는 재샘플링 방법과 비교해 볼 때 어떻게 다른가?
• RQ5 가상 예시 증류를 통해 훈련된 학생 모델이 실세계 장기적 분포 데이터셋에서 교사 모델과 기존 최신 기술 수준(SOTA) 방법을 모두 능가할 수 있는가?

주요 결과

• DiVE는 CIFAR-100-LT(β=100)에서 51.66%의 정확도를 달성하여 RIDE 교사(51.07%)와 SOTA 방법을 능가하며 최신 기술 수준(SOTA) 성능을 입증했다.
• iNaturalist2018에서 DiVE는 73.44%의 정확도를 기록하여 RIDE 방법(72.60%)을 능가하고 새로운 SOTA를 수립했다.
• FULL 교사(전체 CIFAR-100으로 훈련된)의 가상 예시 분포는 CE 교사보다 훨씬 더 평탄했으며, 이 평탄함과 학생 정확도(61.58% 대 38.35%) 사이에 상관관계가 있었고, 이는 분포 제어의 중요성을 시사한다.
• 온도 τ=3과 파wr 정규화를 사용할 경우 가상 예시 분포가 가장 평탄해지고 정확도가 최고 수준(62.00% on CIFAR-100-LT)에 도달하여 분포 제어의 중요성을 확인했다.
• DiVE에서 BSCE 손실 항목을 제거하면 성능이 약간 저하되지만, DLDL 전용 변형조차도 대부분의 베이스라인을 능가하여 가상 예시 증류 자체의 효과성을 입증했다.
• 제거 실험에서 진정한 레이블을 증류 타겟으로 사용하는 것($\tilde{\vec{t}}$)이 성능을 악화시켰음을 확인하여 순수한 모델 예측에서의 증류가 더 효과적임을 입증했다.