[논문 리뷰] Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation

Yan Jin, Mengke Li외 3명|arXiv (Cornell University)|2023. 04. 03.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 장수분포 시각 인식을 위한 새로운 믹스처오브익스퍼트(MoE) 프레임워크인 SHIKE를 제안한다. 이 프레임워크는 헤드, 미디엄, 테일 클래스 전반에 걸쳐 표현 학습을 향상시키기 위해 깊이 기반 지식 융합(DKF)과 동적 지식 전이(DKT)를 통합한다. 다양한 네트워크 깊이에서 유도된 특징을 융합하고, 정규화 과정에서 가장 어려운 음성 샘플을 억제함으로써, SHIKE는 CIFAR100-LT에서 56.3%, ImageNet-LT에서 60.3%, iNaturalist 2018에서 75.4%, Places-LT에서 41.9%의 최신 기술(SOTA) 정확도를 달성한다.

ABSTRACT

Deep neural networks have made huge progress in the last few decades. However, as the real-world data often exhibits a long-tailed distribution, vanilla deep models tend to be heavily biased toward the majority classes. To address this problem, state-of-the-art methods usually adopt a mixture of experts (MoE) to focus on different parts of the long-tailed distribution. Experts in these methods are with the same model depth, which neglects the fact that different classes may have different preferences to be fit by models with different depths. To this end, we propose a novel MoE-based method called Self-Heterogeneous Integration with Knowledge Excavation (SHIKE). We first propose Depth-wise Knowledge Fusion (DKF) to fuse features between different shallow parts and the deep part in one network for each expert, which makes experts more diverse in terms of representation. Based on DKF, we further propose Dynamic Knowledge Transfer (DKT) to reduce the influence of the hardest negative class that has a non-negligible impact on the tail classes in our MoE framework. As a result, the classification accuracy of long-tailed data can be significantly improved, especially for the tail classes. SHIKE achieves the state-of-the-art performance of 56.3%, 60.3%, 75.4%, and 41.9% on CIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, and Places-LT, respectively.

연구 동기 및 목표

• 장수분포 데이터 분포에서 딥 네트워크가 헤드 클래스에 대해 편향을 가지는 문제를 해결한다.
• 기존 MoE 방법들이 동일한 깊이를 가진 동일한 전문가를 사용하는 데서 비롯되는 한계를 해결한다. 이는 클래스별 깊이 선호도를 포착하지 못함.
• 자기-이종 통합을 통해 浅층 및 심층 네트워크 부문의 지식을 융합함으로써 테일 클래스의 표현 학습을 향상시킨다.
• MoE 프레임워크에서 지식 정규화 과정 동안 가장 어려운 음성 샘플의 부정적 영향을 줄인다.

제안 방법

• 깊이 기반 지식 융합(DKF)을 제안한다. 이는 각 전문가의 고수준 특징으로 유도된 얕은 및 깊은 네트워크 부문의 중간 특징을 융합하는 구성 요소로, 특징 다양성과 표현 능력을 향상시킨다.
• 동적 지식 전이(DKT)를 도입한다. 이는 다양한 전문가들에서 큰 값을 가진 비대상 로짓을 식별하고 재가중하여, 비대상 예측을 정규화하기 위한 통합된 '주니어 교사'를 형성한다.
• 대상 및 비대상 지식을 모두 활용한 지식 정규화를 적용한다. 대상 지식은 표준 정규화 손실을 통해, 비대상 지식은 DKT를 통해 가장 어려운 음성 클래스의 영향을 억제한다.
• 균형 잡힌 소프트맥스 교차엔트로피(BCSE)를 사용하여 MoE 모델을 훈련하고, DKF 및 DKT 구성 요소를 함께 최적화하여 장수분포 클래스 전반에 걸친 일반화 능력을 향상시킨다.
• 이종 전문가 아키텍처를 설계한다. 각 전문가는 다른 깊이 수준(얕은, 중간, 깊은)의 특징을 사용하여, 전문가들이 장수분포의 서로 다른 부분에 특화되도록 한다.
• 자기 정규화를 활용하여 얕은 네트워크 브랜치에서 심층 전문가로 지식을 전이함으로써, 샘플 수에 관계없이 자기 적응 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 다른 네트워크 깊이에서 유도된 특징을 융합하는 것이 장수분포 시각 인식에서 표현 다양성과 성능 향상에 기여하는가?
• RQ2 딥 네트워크가 특정 클래스를 선호하는 경향이 깊이에 따라 달라지며, 이를 활용해 테일 클래스의 일반화를 향상시킬 수 있는가?
• RQ3 다양한 전문가들로부터의 동적 지식 전이가 정규화 과정에서 가장 어려운 음성 샘플의 영향을 효과적으로 억제할 수 있는가?
• RQ4 MoE 기반 장수분포 학습에서 전문가의 수와 이종성은 성능에 어떤 영향을 미치는가?
• RQ5 얕은 및 깊은 특징에서 유도된 지식의 자기-이종 통합은 표준 MoE의 동일한 전문가를 사용하는 경우보다 더 나은 일반화를 이끌 수 있는가?

주요 결과

• SHIKE는 CIFAR100-LT(IF100)에서 56.3%의 정확도로 최신 기술 성능을 달성하며, 기준 MoE 모델을 크게 앞서간다.
• ImageNet-LT에서 SHIKE는 60.3%의 정확도를 기록하여 대규모 장수분포 데이터에서 강력한 일반화 능력을 보여준다.
• iNaturalist 2018에서 SHIKE는 75.4%의 탑-1 정확도를 달성하여 세밀한 분류 및 장수분포 벤치마크에서 뛰어난 견고성을 입증한다.
• Places-LT에서 SHIKE는 41.9%의 정확도를 확보하여 극심한 클래스 불균형이 있는 장면 인식에서의 효과성을 보여준다.
• 제거 실험에서 DKF는 기초 구성 요소로 기여하며, 다른 구성 요소를 제외한 상태에서 0.59%의 정확도 향상을 기록한다.
• DKT는 CIFAR100-LT에서 고확률의 가장 어려운 음성 샘플 수를 30% 감소시켜, 정규화 과정에서의 부정적 간섭 억제 효과를 검증한다.