[논문 리뷰] Understanding CNN Fragility When Learning With Imbalanced Data

Damien Dablain, Kristen N. Jacobson외 3명|arXiv (Cornell University)|2022. 10. 17.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 불균형 데이터셋에서 CNN이 소수 클래스로 일반화하는 데 어려움을 겪는 이유를 잠재적 특징 및 분류 임베딩(FE 및 CE)을 분석함으로써 탐구한다. 연구 결과, 모델은 소수 클래스에 대해 다소 낮은 다양성의 높은 크기의 특징들에 의존하며, 이는 테스트 데이터의 특징 크기가 학습 데이터와 다를 경우 취약해지는 원인가 된다. 이는 특징 다양성, 즉 클래스 균형 외에도 강건한 일반화를 위해 필수적임을 시사한다.

ABSTRACT

Convolutional neural networks (CNNs) have achieved impressive results on imbalanced image data, but they still have difficulty generalizing to minority classes and their decisions are difficult to interpret. These problems are related because the method by which CNNs generalize to minority classes, which requires improvement, is wrapped in a blackbox. To demystify CNN decisions on imbalanced data, we focus on their latent features. Although CNNs embed the pattern knowledge learned from a training set in model parameters, the effect of this knowledge is contained in feature and classification embeddings (FE and CE). These embeddings can be extracted from a trained model and their global, class properties (e.g., frequency, magnitude and identity) can be analyzed. We find that important information regarding the ability of a neural network to generalize to minority classes resides in the class top-K CE and FE. We show that a CNN learns a limited number of class top-K CE per category, and that their number and magnitudes vary based on whether the same class is balanced or imbalanced. This calls into question whether a CNN has learned intrinsic class features, or merely frequently occurring ones that happen to exist in the sampled class distribution. We also hypothesize that latent class diversity is as important as the number of class examples, which has important implications for re-sampling and cost-sensitive methods. These methods generally focus on rebalancing model weights, class numbers and margins; instead of diversifying class latent features through augmentation. We also demonstrate that a CNN has difficulty generalizing to test data if the magnitude of its top-K latent features do not match the training set. We use three popular image datasets and two cost-sensitive algorithms commonly employed in imbalanced learning for our experiments.

연구 동기 및 목표

• 불균형 데이터셋에서 CNN이 소수 클래스로 일반화하지 못하는 이유를 이해하는 것.
• 잠재적 특징 및 분류 임베딩(FE 및 CE)이 모델 결정에 어떻게 영향을 미치는지 조사하는 것.
• CNN이 불균형 학습 데이터에서 빈번한 패턴을 학습하는 것이 아니라 본질적인 클래스 특징을 학습하는지 조사하는 것.
• 특징 크기와 다양성이 모델 일반화 성능에 미치는 역할을 평가하는 것.
• 클래스 빈도 재균형만으로도 강건성이 보장된다는 가정을 도전하며, 잠재적 특징 다양성이 동등하게 중요하다고 제안하는 것.

제안 방법

• 저자들은 학습된 CNN을 특징 추출기와 분류 헤드로 분해하여 잠재 표현을 고립하고 분석한다.
• 네트워크의 최종 레이어에서 특징 임베딩(FE)과 분류 임베딩(CE)을 추출하고 분석한다.
• 각 클래스에 대해 상위 K개의 FE 및 CE를 정의하고 계산하며, 신원, 크기, 빈도 및 밀도에 중점을 둔다.
• 학습 및 테스트 세트의 임베딩을 비교하여 특징 반응 범위와 신원의 일관성 여부를 평가한다.
• FB 노름을 사용하여 상위 K개 특징의 크기와 다양성을 정량화하고, 일반화 성능와 연결한다.
• SVHN, CelebA, CIFAR-10 세 가지 데이터셋과 두 가지 비용 감도 손실 함수(focal loss, LDAM)를 사용한 실험을 수행하며, TP/FP 분석을 통해 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 불균형 설정에서 주로 다루는 클래스와 소수 클래스 간 상위 K개 특징 및 분류 임베딩의 신원과 크기는 어떻게 다를까?
• RQ2 모델의 일반화 성능이 학습 및 테스트 세트 간 특징 크기 범위의 일관성에 얼마나 의존하는가?
• RQ3 모델은 학습 분포에서 고빈도 패턴을 학습하는 것이 아니라 본질적인 클래스 특징을 학습하는가?
• RQ4 상위 K개 FE/CE의 특징 다양성(수와 크기 분포)은 소수 클래스에서의 일반화와 어떻게 상관관계가 있는가?
• RQ5 잠재적 특징 다양성이 해결되지 않은 상태에서 재샘플링 또는 비용 감도 방법만으로는 강건성이 확보될 수 있는가?

주요 결과

• CNN은 각 클래스에 대해 상위 K개의 분류 임베딩만 학습하며, 균형 잡힌 설정에 비해 소수 클래스의 경우 특징 수가 적고 크기가 낮다.
• 소수 클래스 예측은 낮은 다양성의 높은 크기의 특징들에 의존하므로, 테스트 특징 크기가 학습 반응 범위를 벗어날 경우 모델이 취약해진다.
• 정확한 예측(TP)에 대한 FB 노름은 잘못된 예측(FP)에 비해 유의미하게 낮다(1.73–4.67 vs 9.00–21.16), 이는 정확한 예측이 더 일관되고 높은 크기의 특징 반응에 기반함을 시사한다.
• 상위 K개 특징의 신원이 70% 겹쳐져 있어도, 학습 및 테스트 세트 간 특징 크기 범위가 다를 경우 모델은 일반화에 실패한다.
• 교차 엔트로피 또는 비용 감도 손실로 학습된 모델는 테스트 세트의 특징 크기가 학습 세트와 일치하지 않을 경우 일반화에 실패하며, 이는 특정 반응 범위를 암기했음을 의미한다.
• 이 연구는 잠재적 특징 다양성—상위 K개 임베딩의 수와 크기 분포—이 클래스 균형과 동등하게 강건한 일반화에 필수적이라고 결론 내린다.