[논문 리뷰] ResLT: Residual Learning for Long-tailed Recognition

Jiequan Cui, Shu Liu외 3명|arXiv (Cornell University)|2021. 01. 26.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 머리, 중간, 꼬리 클래스 간 모델 파라미터를 직접 재균형화함으로써 장기적 이미지 인식을 위한 새로운 잔차 학습 프레임워크인 ResLT를 제안한다. 세 가지 브랜치로 구성된 잔차 융합 기반 구조를 도입하여, 주 브랜치는 모든 클래스를 처리하고, 두 개의 점진적으로 전문화된 잔차 브랜치는 중간+꼬리 클래스 및 꼬리 클래스의 인식 성능을 향상시킨다. CIFAR, ImageNet, Places, iNaturalist 벤치마크에서 최신 기술(SOTA) 수준의 정확도를 달성하며 기존 방법 대비 일관된 성능 향상을 보였다.

ABSTRACT

Deep learning algorithms face great challenges with long-tailed data distribution which, however, is quite a common case in real-world scenarios. Previous methods tackle the problem from either the aspect of input space (re-sampling classes with different frequencies) or loss space (re-weighting classes with different weights), suffering from heavy over-fitting to tail classes or hard optimization during training. To alleviate these issues, we propose a more fundamental perspective for long-tailed recognition, i.e., from the aspect of parameter space, and aims to preserve specific capacity for classes with low frequencies. From this perspective, the trivial solution utilizes different branches for the head, medium, and tail classes respectively, and then sums their outputs as the final results is not feasible. Instead, we design the effective residual fusion mechanism -- with one main branch optimized to recognize images from all classes, another two residual branches are gradually fused and optimized to enhance images from medium+tail classes and tail classes respectively. Then the branches are aggregated into final results by additive shortcuts. We test our method on several benchmarks, i.e., long-tailed version of CIFAR-10, CIFAR-100, Places, ImageNet, and iNaturalist 2018. Experimental results manifest the effectiveness of our method. Our code is available at https://github.com/jiequancui/ResLT.

연구 동기 및 목표

• 실제 데이터셋에서 심각한 클래스 불균형으로 인해 모델 성능이 저하되는 장기적 인식 문제를 해결한다.
• 과적합 또는 최적화 어려움을 야기하는 기존의 입력 공간(재샘플링) 및 손실 공간(재가중) 방법의 한계를 극복한다.
• 모델 파라미터를 직접 재균형화함으로써 근본적으로 새로운 접근 방식을 제안하며, 저빈도 클래스에 대한 전문화된 능력을 유지한다.
• 머리 클래스 정확도를 훼손하지 않으면서 꼬리 클래스 성능을 향상시키는 효과적인 잔차 융합 기반 구조를 설계한다.

제안 방법

• 세 브랜치 아키텍처를 도입: 모든 클래스를 학습하는 주 브랜치(N_h+m+t)와 중간+꼬리 클래스 및 꼬리 클래스에 점진적으로 전문화된 두 개의 잔차 브랜치(N_m+t 및 N_t)를 각각 설계한다.
• 모든 세 브랜치의 출력을 덧셈 합성으로 융합하여, 점진적으로 꼬리 클래스 인식 성능을 향상시키는 잔차 학습을 가능하게 한다.
• 학습 중 머리, 중간, 꼬리 클래스가 각각의 브랜치에서 여전히 지배적인 영향을 미치도록 하여 파라미터 전문화를 유지한다.
• 복잡한 두 단계 학습 또는 지식 distillation 없이 표준 최적화 기법을 사용해 전체 네트워크를 엔드 투 엔드로 학습한다.
• 잔차 융합 설계 외에 추가적인 아키텍처 수정 없이 표준 CNN(예: ResNet, ResNeXt)에 프레임워크를 적용한다.
• 주 브랜치에서는 표준 교차 엔트로피 손실에 클래스 가중치를 적용하고, 잔차 브랜치는 주 브랜치의 잔차 오차에서 학습한다.

실험 결과

연구 질문

• RQ1 머리, 중간, 꼬리 클래스 간 모델 파라미터를 직접 재균형화하면 장기적 인식 성능 향상에 기여하는가?
• RQ2 점진적으로 꼬리 클래스 인식 성능을 향상시키는 잔차 융합 기반 구조가 기존의 재샘플링 및 재가중 전략보다 우월한가?
• RQ3 공유 아키텍처 내에서 꼬리 클래스에 과적합되지 않도록 파라미터 전문화를 유지할 수 있는가?
• RQ4 다양한 장기적 인식 벤치마크에서 제안된 방법이 최신 기술의 단계별 및 이중 단계 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• ImageNet-LT에서 ResNeXt-50 기반 ResLT는 180 에포크 동안 57.6%의 Top-1 정확도를 기록하여 RIDE보다 1.6% 높고, 최신 기술 방법보다 1.0–1.4% 높다.
• Places-LT에서 ResLT는 39.8%의 Top-1 정확도를 달성하여 이전 최신 기술의 분리 방법보다 1.9% 높다.
• iNaturalist 2018에서 ResNet-152 기반 ResLT는 동일한 학습 스케줄 조건에서 최신 기술보다 0.7% 높은 73.2%의 Top-1 정확도를 기록한다.
• 불균형 비율 0.01인 CIFAR-100-LT에서 ResLT는 RIDEResNet 기반으로 49.73%의 Top-1 정확도를 기록하며 RIDE를 능가한다.
• ResLT는 최소한의 추론 비용을 유지한다: 추가로 약 0.04G FLOPs와 64장의 배치당 17.2ms의 추론 시간만 증가한다. RIDE 대비 유의미한 성능 향상과 함께 매우 낮은 오버헤드를 기록한다.
• 제거 실험 결과, 파라미터 전문화와 잔차 학습 기반 구조가 성능 향상에 필수적임을 확인하였다.