[논문 리뷰] Delving into Semantic Scale Imbalance

Yanbiao Ma, Licheng Jiao외 4명|arXiv (Cornell University)|2022. 12. 30.

Imbalanced Data Classification Techniques인용 수 5

한 줄 요약

이 논문은 특성 다양성의 차이로 인한 클래스 간의 의미적 척도 불균형을 정량화함으로써, 기존에 간과되었던 모델 편향의 한 형태를 제안한다. 의미적 척도는 다양체 부피를 통해 측정되며, 동적 의미적 척도 균형 학습을 통해 적응형 손실 재가중을 제안하여, 자연시각 및 의료시각 과제에서 장긴 분포 및 샘플 균형 데이터셋 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

Model bias triggered by long-tailed data has been widely studied. However, measure based on the number of samples cannot explicate three phenomena simultaneously: (1) Given enough data, the classification performance gain is marginal with additional samples. (2) Classification performance decays precipitously as the number of training samples decreases when there is insufficient data. (3) Model trained on sample-balanced datasets still has different biases for different classes. In this work, we define and quantify the semantic scale of classes, which is used to measure the feature diversity of classes. It is exciting to find experimentally that there is a marginal effect of semantic scale, which perfectly describes the first two phenomena. Further, the quantitative measurement of semantic scale imbalance is proposed, which can accurately reflect model bias on multiple datasets, even on sample-balanced data, revealing a novel perspective for the study of class imbalance. Due to the prevalence of semantic scale imbalance, we propose semantic-scale-balanced learning, including a general loss improvement scheme and a dynamic re-weighting training framework that overcomes the challenge of calculating semantic scales in real-time during iterations. Comprehensive experiments show that dynamic semantic-scale-balanced learning consistently enables the model to perform superiorly on large-scale long-tailed and non-long-tailed natural and medical datasets, which is a good starting point for mitigating the prevalent but unnoticed model bias.

연구 동기 및 목표

• 샘플 수 불균형 외에 이전에 간과되었던 분류 과제에서의 모델 편향을 특정하고 정량화하는 것.
• 특성 다양체 부피로 측정되는 의미적 척도가 데이터가 부족한 영역과 데이터가 풍부한 영역에서의 성능 포화 및 저하 패턴을 설명할 수 있음을 보여주는 것.
• 기존의 장긴 분포 학습 방법이 해결하지 못하는 바, 샘플 수가 균형 잡힌 데이터셋에서도 의미적 척도의 차이로 인해 클래스 편향이 존재함을 보여주는 것.
• 실시간 의미적 척도 추정 기반으로 손실 가중치를 동적으로 조정하는 새로운 학습 프레임워크인 동적 의미적 척도 균형 학습을 제안하는 것.
• 표본 빈도를 넘어서 내재된 특성 다양성을 포함하여 클래스 불균형 연구의 범위를 확장함으로써, 실제 세계 데이터셋에 더 넓은 적용 가능성을 제공하는 것.

제안 방법

• 특성 공간에서 주어진 클래스의 특성가 시키는 저차원 다양체의 부피로 의미적 척도를 정량화하는 것.
• 학습 중에 각 클래스의 특성 다양체 부피를 수치적으로 안정적이고 미분 가능한 방법으로 추정하는 것.
• 의미적 척도가 작은 클래스(즉, 특성 다양성이 낮은 클래스)에 더 높은 손실 가중치를 할당하는 동적 재가중 메커니즘을 설계하는 것.
• 각 배치마다 동적으로 클래스 가중치를 업데이트하는 프레임워크에 의미적 척도 인식 손실을 통합하여 정적 재가중을 피하는 것.
• 의료 영상 포함 장긴 분포 및 샘플 균형 데이터셋에 이 방법을 적용하여 강인성과 일반화 능력을 평가하는 것.
• 대조 학습 및 거리 기반 학습 원리를 활용하여, 의미적 척도가 낮은 클래스의 경우에도 분류 가능한 특징을 학습하도록 보장하는 것.

실험 결과

연구 질문

• RQ1 특성 다양체 부피로 정의된 의미적 척도가 추가 샘플에 따른 성능 향상의 한계와 데이터 부족 시 성능 급락을 설명할 수 있는가?
• RQ2 샘플 수가 균형 잡힌 데이터셋에서 학습된 모델이 여전히 클래스 편향을 보이는 이유는 무엇이며, 이 편향은 특성 다양성의 차이로 기인하는가?
• RQ3 의미적 척도 기반 동적 재가중 전략이 장긴 분포 및 균형 데이터 설정 모두에서 기존의 샘플 기반 재가중 전략을 능가할 수 있는가?
• RQ4 다양한 시각 벤치마크에서 전통적인 샘플 기반 클래스 불균형과 비교해 볼 때 의미적 척도 불균형은 얼마나 퍼져 있으며, 영향력은 어떠한가?
• RQ5 스트리밍, 다중 도메인, 다중 모odal 불균형 데이터에 의미적 척도 균형 학습을 확장할 때의 주요 과제는 무엇인가?

주요 결과

• 특성 다양체 부피로 측정된 의미적 척도는 데이터 확장의 감소 수익과 데이터 부족에 대한 성능 민감도를 설명한다.
• 샘플 수가 균형 잡힌 데이터셋에서도 의미적 척도가 큰 클래스로의 명백한 편향이 존재함을 확인하여 의미적 척도 불균형의 존재를 입증한다.
• 제안된 방법은 ImageNet-LT, CIFAR-100 및 의료 데이터셋을 포함한 여러 벤치마크에서 일관되게 정확도를 향상시킨다.
• 표본 수가 아닌 특성 다양성에 초점을 맞추므로, 기존의 재가중 및 재샘플링 기반 기준보다 특히 尾부 클래스에서 성능이 뛰어나다.
• 비장긴 분포 데이터셋으로도 잘 일반화되어 의미적 척도 불균형이 이전에 인식된 것보다 더 광범위한 문제임을 입증한다.
• 실험 결과, 의미적 척도 인식 재가중을 사용할 경우 결정 경계가 부족한 클래스 쪽으로 이동하여 데이터 증강 없이도 편향을 감소시킴을 보여준다.