[논문 리뷰] ELM: Embedding and Logit Margins for Long-Tail Learning

Wittawat Jitkrittum, Aditya Krishna Menon외 2명|arXiv (Cornell University)|2022. 04. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

ELM는 불균형 분류에서 장꼬리 학습을 향상시키기 위해 임bedding과 로짓 마진을 동시에 강제하는 통합 프레임워크를 제안한다. 클래스 임베딩의 기하학적 구조를 정규화하고 로짓 공간에서 비대칭 마진을 적용함으로써, 특히 꼬리 클래스에 대해 더 날카럽고 밀도 높은 임베딩을 달성하여 일반화 성능을 향상시키고, CIFAR100-LT 및 iNaturalist와 같은 장꼬리 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Long-tail learning is the problem of learning under skewed label distributions, which pose a challenge for standard learners. Several recent approaches for the problem have proposed enforcing a suitable margin in logit space. Such techniques are intuitive analogues of the guiding principle behind SVMs, and are equally applicable to linear models and neural models. However, when applied to neural models, such techniques do not explicitly control the geometry of the learned embeddings. This can be potentially sub-optimal, since embeddings for tail classes may be diffuse, resulting in poor generalization for these classes. We present Embedding and Logit Margins (ELM), a unified approach to enforce margins in logit space, and regularize the distribution of embeddings. This connects losses for long-tail learning to proposals in the literature on metric embedding, and contrastive learning. We theoretically show that minimising the proposed ELM objective helps reduce the generalisation gap. The ELM method is shown to perform well empirically, and results in tighter tail class embeddings.

연구 동기 및 목표

• 희귀(꼬리) 클래스가 충분한 학습 샘플이 없어 일반화 성능이 떨어지는 장꼬리 학습의 과제를 해결한다.
• 기존의 로짓 마진 방법이 학습된 임베딩의 기하적 분포를 제어하지 못하는 한계를 극복한다.
• 메트릭 학습과 대비 학습의 원리를 통합하여, 임베딩의 밀도와 로짓 간 분리도를 모두 정규화한다.
• 이론적·실험적으로 임베딩과 로짓 마진 정규화를 동시에 적용할 경우 베이즈 최적 분류기의 더 나은 근사치를 얻을 수 있음을 입증한다.
• 주로 iNaturalist와 같은 도전적인 데이터셋에서 두드러지는 성능 저하 없이 헤드, 토르소, 꼬리 클래스 그룹 전반에서 성능 향상을 달성한다.

제안 방법

• SVM에서 영감을 얻은 로짓 마진 손실과 메트릭 학습에서 영감을 얻은 임베딩 마진 손실을 조합한 공동 목적함수를 제안하여, 클래스 간 분리도와 클래스 내 밀도를 강제한다.
• 샘플이 같은 클래스에 속할 경우 최대 내부 거리를 최소화하는 임베딩 기반 정규화 항을 도입하여, 더 날카운 클러스터링을 유도한다.
• 로짓 공간에서 대칭 마진 전략을 사용하여, 정답 클래스와 가장 높은 점수를 가진 잘못된 클래스 간의 마진을 증가시키며, 특히 희귀 클래스에 유리하게 작용한다.
• 교차 엔트로피 손실, 로짓 마진 페널티, 임베딩 마진 페널티를 조합한 ELM 목적함수를 수립하며, 세 구성 요소를 균형 잡는 하이퍼파라미터를 제공한다.
• 선형 및 딥 네ural 네트워크 모델에 모두 적용하여 표준 학습 파이프라인과의 호환성을 입증한다.
• 이론적 분석을 통해 ELM가 클래스 조건부 분포를 더 정규 분포에 가깝게 만들도록 유도함으로써 베이즈 분류기의 근사치를 향상시킨다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 로짓 공간과 임베딩 공간에서 동시에 마진을 강제하면 장꼬리 학습에서 일반화 성능이 향상되는가?
• RQ2 학습된 임베딩의 기하학적 구조를 정규화하면 기존의 로짓 마진 방법에 비해 꼬리 클래스에 대해 더 날카럽고 밀도 높은 클러스터링이 이루어지는가?
• RQ3 불균형 데이터셋에서 헤드와 꼬리 클래스 간의 일반화 갭은 어느 정도 감소하는가?
• RQ4 실제 세계 벤치마크에서 특히 iNaturalist와 같은 도전적인 데이터셋에서, 헤드 클래스 성능 저하 없이 꼬리 및 토르소 클래스 성능을 향상시킬 수 있는가?
• RQ5 마진 분포와 임베딩 밀도 측면에서 ELM는 LogAdj, DRO-LT, 클래스 밸런싱 손실과 같은 기존 방법과 어떻게 비교되는가?

주요 결과

• ELM는 꼬리 클래스의 로짓 마진 분포에서 분산을 크게 감소시켜, 교차 엔트로피와 LogAdj에 비해 마진 분포의 모드를 유리하게 이동시킨다.
• CIFAR100-LT에서 ELM는 헤드 클래스 성능 저하 없이 토르소 및 꼬리 그룹에서 LogAdj와 교차 엔트로피보다 높은 정확도를 달성한다.
• iNaturalist에서 ELM는 헤드 그룹을 포함한 모든 그룹에서 정확도를 향상시켜, 일반적으로 발생하는 헤드-꼬리 트레이드오프를 피하는 것으로 나타났다.
• t-SNE 시각화 결과, ELM는 LogAdj 및 DRO-LT에 비해 특히 꼬리 클래스에 대해 더 날카롭고 잘 분리된 임베딩을 생성한다.
• ELM 하에서 최대 내부 클래스 거리가 크게 감소하여 더 날카운 클러스터링을 확인했으며, DRO-LT는 대비 학습 정규화로 인해 이러한 거리가 증가한다.
• 이론적 분석 결과, ELM는 클래스 조건부 분포를 더 정규 분포에 가깝게 만들도록 유도함으로써 베이즈 최적 분류기의 더 나은 근사치를 제공함을 보여준다.