[논문 리뷰] Meta Feature Modulator for Long-tailed Recognition

Renzhen Wang, Kaiqin Hu외 4명|arXiv (Cornell University)|2020. 08. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 7

한 줄 요약

이 논문은 장기적 분포를 가진 데이터에서의 성능 저하 문제를 해결하기 위해 메타학습 기반의 MFM(Meta Feature Modulator)을 제안한다. MFM는 학습 가능한 조절 파rameter를 통해 딥 네트워크의 중간 특징을 적응적으로 조절함으로써 장기적 분포 인식 성능을 향상시킨다. 작은 균형 잡힌 메타데이터셋을 기반으로 하여 아키텍처 변경 없이도 특징의 표현력을 향상시키며, CIFAR-10, Fashion-MNIST, MIT-67 환경 인식 데이터셋을 포함한 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks often degrade significantly when training data suffer from class imbalance problems. Existing approaches, e.g., re-sampling and re-weighting, commonly address this issue by rearranging the label distribution of training data to train the networks fitting well to the implicit balanced label distribution. However, most of them hinder the representative ability of learned features due to insufficient use of intra/inter-sample information of training data. To address this issue, we propose meta feature modulator (MFM), a meta-learning framework to model the difference between the long-tailed training data and the balanced meta data from the perspective of representation learning. Concretely, we employ learnable hyper-parameters (dubbed modulation parameters) to adaptively scale and shift the intermediate features of classification networks, and the modulation parameters are optimized together with the classification network parameters guided by a small amount of balanced meta data. We further design a modulator network to guide the generation of the modulation parameters, and such a meta-learner can be readily adapted to train the classification network on other long-tailed datasets. Extensive experiments on benchmark vision datasets substantiate the superiority of our approach on long-tailed recognition tasks beyond other state-of-the-art methods.

연구 동기 및 목표

• 실제 시각 인식 환경에서 장기적 분포로 인한 딥 네트워크의 성능 저하 문제를 해결하기 위해.
• 기존의 리샘플링 및 리웨이팅 방법이 내·외부 샘플 정보를 효율적으로 활용하지 못해 특징 표현력이 떨어지는 문제를 해결하기 위해.
• 불균형 데이터로 훈련되더라도 균형 잡힌 레이블 분포에 대해 잘 일반화할 수 있도록 분류 네트워크를 설계하기 위해.
• 다른 장기적 분포 데이터셋에 대해 재학습 없이도 적용 가능한 이식 가능한 조절자 네트워크를 설계하기 위해.
• 최소한의 아키텍처 수정으로 표준 네트워크를 엔드 투 엔드로 훈련하면서 꼬리 클래스 성능을 향상시키기 위해.

제안 방법

• 분류 네트워크의 중간 특징을 채널 단위로 스케일링 및 시프트하는 학습 가능한 조절 파rameter를 도입하여 훈련 중에 특징을 조절한다.
• 작은 균형 잡힌 메타데이터셋에서 경험적 리스크 최소화를 통해 분류 네트워크와 조절 파ram터를 함께 최적화한다.
• 입력 특징과 소프트 레이블을 기반으로 조절 파ram터를 생성하는 조절자 네트워크를 설계하여 적응적이고 맥락 인식 특징 조절을 가능하게 한다.
• 균형 잡힌 데이터에서 메타손실을 최소화하도록 조절자 네트워크를 훈련시켜, 클래스 기여도를 암묵적으로 재균형화하는 방식으로 학습한다.
• 추가 미세조정 없이 메타학습된 조절자를 장기적 분포 데이터셋에 적용하여, 조절자 간의 다중 데이터셋 전이를 가능하게 한다.
• 테스트 시 조건부 계산이 필요 없도록 조절자 스위치를 제거함으로써 추론 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 메타학습된 특징 조절이 아키텍처 변경 없이도 장기적 분포 인식에서 표현 학습을 향상시킬 수 있는가?
• RQ2 한 장기적 분포 데이터셋에서 학습된 조절자 네트워크가 다른 불균형 정도가 다른 데이터셋으로 일반화 가능한가?
• RQ3 제안된 방법이 기존의 리샘플링 및 리웨이팅 기반 베이스라인을 초월하면서도 특징 표현력을 유지할 수 있는가?
• RQ4 극한의 장기적 분포 상황에서도 조절자 네트워크가 모든 클래스, 특히 꼬리 클래스에 대해 균형 잡힌 선호도를 유지하는 데 얼마나 효과적인가?
• RQ5 사전 학습된 조절자가 다양한 클래스 불균형 수준을 가진 다른 데이터셋 간에 얼마나 잘 전이 가능한가?

주요 결과

• 불균형 요인 100인 장기적 CIFAR-10에서 MFM은 상위 1위 오차를 12.12%로 낮춰 기반 모델의 14.01% 대비 뚜렷한 향상을 보였다.
• 불균형 요인 200인 Fashion-MNIST에서, CIFAR-10에서 학습한 전이된 조절자(transfered modulator)는 13.89%의 오차를 기록하여 기반 모델(16.12%)을 능가했으며, 완전한 미세조정된 조절자 성능에 근접했다.
• MIT-67 환경 인식 데이터셋에서 MFM는 상위 1위 오차 24.63%를 기록하여 기반 모델(28.54%)과 비교해 우수했으며, CB 및 MW-Net과 같은 최신 기술 수준의 접근 방식을 모두 능가했다.
• 잔차 연결(Residual connection, WH-layer)을 도입함으로써 MFM는 MIT-67에서 오차를 24.20%로 추가로 감소시켜 아키텍처 통합이 성능 향상에 기여함을 보였다.
• 전이 실험 결과, 한 데이터셋에서 학습된 조절자가 다른 불균형 요인을 가진 데이터셋으로도 잘 일반화됨을 확인하여 강력한 내성성과 전이 가능성의 가능성을 입증했다.
• 조건부 계산을 제거함으로써 추론 효율성을 유지하였으며, 조건부 배치 정규화나 어텐션 모듈을 사용하는 방법들과는 달리, 이는 성능 향상과 함께 효율성도 확보했다.