[논문 리뷰] ELF: An Early-Exiting Framework for Long-Tailed Classification

Rahul Duggal, Scott Freitas외 3명|arXiv (Cornell University)|2020. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 16

한 줄 요약

ELF는 훈련 중에 예측 난이도를 학습함으로써 장수 분포 분류를 향상시키는 새로운 조기 종료 프레임워크를 제안한다. 보조 분류기 브랜치를 사용해 쉬운 예측은 조기에 종료되도록 유도함으로써, 모델의 초점이 어려운 예측으로 이동하게 된다. 이는 ImageNet LT와 iNaturalist’18에서 정확도를 3퍼센트 이상 향상시키고, 추론 FLOPS를 최대 20퍼센트 감소시키며, 가변적인 컴퓨팅 예산에 대응하는 실시간 모델 선택을 가능하게 한다.

ABSTRACT

The natural world often follows a long-tailed data distribution where only a few classes account for most of the examples. This long-tail causes classifiers to overfit to the majority class. To mitigate this, prior solutions commonly adopt class rebalancing strategies such as data resampling and loss reshaping. However, by treating each example within a class equally, these methods fail to account for the important notion of example hardness, i.e., within each class some examples are easier to classify than others. To incorporate this notion of hardness into the learning process, we propose the EarLy-exiting Framework(ELF). During training, ELF learns to early-exit easy examples through auxiliary branches attached to a backbone network. This offers a dual benefit-(1) the neural network increasingly focuses on hard examples, since they contribute more to the overall network loss; and (2) it frees up additional model capacity to distinguish difficult examples. Experimental results on two large-scale datasets, ImageNet LT and iNaturalist'18, demonstrate that ELF can improve state-of-the-art accuracy by more than 3 percent. This comes with the additional benefit of reducing up to 20 percent of inference time FLOPS. ELF is complementary to prior work and can naturally integrate with a variety of existing methods to tackle the challenge of long-tailed distributions.

연구 동기 및 목표

• 기존 방법이 간과하는 예측 난이도 개념을 통합함으로써 장수 분포 분류의 일반화 갭을 해소하기 위해.
• 빈도가 높은 클래스의 정확도를 희생시키지 않고도 희귀 클래스 성능을 향상시키기 위해.
• 추론 FLOPS를 줄이고 가변적인 컴퓨팅 제약 조건 하에서 동적 모델 선택을 가능하게 하기 위해.
• 기존의 클래스 재균형 기법(예: 손실 재형상 및 데이터 재샘플링)과 보완 가능한 프레임워크를 개발하기 위해.

제안 방법

• ELF는 백본 네트워크에 다양한 깊이에서 위치한 다수의 보조 분류기 브랜치(조기 종료 지점)를 추가한다.
• 훈련 중에 예측이 높은 신뢰도로 첫 번째 브랜치에서 이루어지면 조기에 종료되도록 유도한다.
• 조기 종료에 실패하는 어려운 예측은 더 높은 손실을 누적하고 깊은 레이어로 전달되며, 이는 총 손실에 더 큰 기여를 하게 된다.
• 각 종료 지점에서 클래스 레이블을 예측하는 다중 작업 훈련 목표를 사용하며, 최종 브랜치는 주 예측을 제공한다.
• 모든 종료 지점에서 손실를 계산하고, 이전 지점에서 높은 신뢰도를 확보하지 못한 예측은 더 깊은 레이어를 통해 역전파된다.
• 이 방법은 LDAM, DRW, 포칼 손실과 같은 기존의 장수 분포 학습 기법과 자연스럽게 통합된다.

실험 결과

연구 질문

• RQ1 훈련 중에 예측 난이도를 학습함으로써 장수 분포 분류의 일반화 성능을 향상시킬 수 있는가?
• RQ2 훈련 중 조기 종료를 통해 모델의 능력이 어려운 예측으로 이동하고 희귀 클래스 성능이 향상되는가?
• RQ3 조기 종료는 정확도를 유지하거나 향상시키면서 추론 FLOPS를 줄일 수 있는가?
• RQ4 장수 분포 데이터셋에서 최신 기법들과 비교해 ELF의 정확도 및 효율성은 어떠한가?
• RQ5 실제 운영 환경에서 가변적인 컴퓨팅 예산에 대응하는 실시간 모델 선택을 ELF가 가능하게 하는가?

주요 결과

• ELF는 ImageNet LT와 iNaturalist’18에서 최신 기준을 초월해 3퍼센트 이상의 정확도 향상을 이뤘으며, LDAM과 조합했을 때 iNaturalist’18에서 최고의 Top-1 정확도 78.1%를 기록했다.
• 기본 모델 대비 추론 시 FLOPS를 최대 20퍼센트 감소시켰으며, 이는 정확도 향상과 함께 이루어졌다.
• 기존 방법이 빈도가 높은 클래스에서 성능을 희생시키는 것과 달리, ELF는 모든 클래스 빈도 분류(많음, 중간, 적음)에서 정확도를 유지하거나 향상시켰다.
• 시각화 결과에 따르면, 조기에 종료되는 브랜치는 더 쉽고 명확한 예측을 처리하고, 후속 브랜치는 더 어려운, 모호한 입력을 다룬다.
• FLOPS 분석을 통해 ELF의 정확도 향상은 단순히 모델 용량 증가 때문이 아니라 난이도 인식 학습 덕분임을 확인했다.
• ELF는 기존 방법과 보완 가능하다: LDAM 또는 DRW와 조합했을 때 FLOPS 증가 없이 일관된 성능 향상이 이루어졌다.