[논문 리뷰] Understanding the Impact of Label Granularity on CNN-based Image Classification

Zhuo Chen, Ruizhou Ding외 2명|arXiv (Cornell University)|2019. 01. 21.

Machine Learning and Data Classification참고 문헌 19인용 수 4

한 줄 요약

이 논문은 '고양이' 대신 '페르시안 고양이'와 같이 세분화된 레이블로 CNN을 훈련시키면 최적화와 일반화가 향상되어 군집 분류 작업에서 더 높은 정확도를 달성함을 보여준다. 놀랍게도, 세분화된 레이블로 40%의 데이터만 훈련시킨 CNN이 전체 데이터를 사용해 군집 레이블로 훈련시킨 CNN보다 성능이 뛰어나, 데이터 효율성 향상이 뚜렷하게 나타남.

ABSTRACT

In recent years, supervised learning using Convolutional Neural Networks (CNNs) has achieved great success in image classification tasks, and large scale labeled datasets have contributed significantly to this achievement. However, the definition of a label is often application dependent. For example, an image of a cat can be labeled as "cat" or perhaps more specifically "Persian cat." We refer to this as label granularity. In this paper, we conduct extensive experiments using various datasets to demonstrate and analyze how and why training based on fine-grain labeling, such as "Persian cat" can improve CNN accuracy on classifying coarse-grain classes, in this case "cat." The experimental results show that training CNNs with fine-grain labels improves both network's optimization and generalization capabilities, as intuitively it encourages the network to learn more features, and hence increases classification accuracy on coarse-grain classes under all datasets considered. Moreover, fine-grain labels enhance data efficiency in CNN training. For example, a CNN trained with fine-grain labels and only 40% of the total training data can achieve higher accuracy than a CNN trained with the full training dataset and coarse-grain labels. These results point to two possible applications of this work: (i) with sufficient human resources, one can improve CNN performance by re-labeling the dataset with fine-grain labels, and (ii) with limited human resources, to improve CNN performance, rather than collecting more training data, one may instead use fine-grain labels for the dataset. We further propose a metric called Average Confusion Ratio to characterize the effectiveness of fine-grain labeling, and show its use through extensive experimentation. Code is available at https://github.com/cmu-enyac/Label-Granularity.

연구 동기 및 목표

• 레이블의 세분화 수준이 이미지 분류 작업에서 CNN 성능에 미치는 영향을 조사하는 것.
• 군집 레이블 대비 세분화된 레이블로 훈련할 경우 정확도와 데이터 효율성이 향상되는지 확인하는 것.
• 세분화된 레이블의 효과를 예측할 수 있는 정량적 지표를 제안하는 것.
• 인간 및 데이터 자원 제약 조건이 다양한 상황에서 세분화된 레이블의 실용적 응용을 탐색하는 것.

제안 방법

• CIFAR-10, CIFAR-100, ImageNet 데이터셋에서 군집 레이블 대비 세분화된 레이블로 훈련한 결과를 비교한 광범위한 실험.
• 훈련 데이터의 전체 및 감소된(예: 40%) 버전을 사용해 데이터 효율성을 평가.
• 레이블 계층의 품질을 측정하고 성능 향상을 예측하기 위해 평균 혼동 비율(ACR)을 정의하고 계산.
• 세분화된 레이블에 제어된 노이즈를 무작위성 요소를 통해 도입하여 세분화된 레이블의 이점이 얼마나 견고한지 테스트.
• CIFAR-100에서 군집 클래스의 수를 변화시켜 세분화된 레이블의 수익 감소 현상을 연구.
• 다양한 실험 설정에서 테스트 정확도 향상(ΔA^test)을 분석하고, 이를 ACR 값과 상관관계 분석.

실험 결과

연구 질문

• RQ1 군집 클래스 분류 정확도에서, 군집 레이블 대비 세분화된 레이블로 훈련할 경우 성능 향상이 이루어지는가?
• RQ2 세분화된 레이블은 CNN 훈련의 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 세분화된 레이블이 CNN 성능 향상에 기여하는 데 영향을 미치는 요소는 무엇인가?
• RQ4 정량적 지표로 세분화된 레이블 사용 시 성능 향상을 예측할 수 있는가?
• RQ5 군집 클래스의 수가 세분화된 레이블의 이점에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10 훈련 데이터의 40%만 사용해 세분화된 레이블로 훈련한 CNN은 전체 데이터와 군집 레이블로 훈련한 CNN보다 높은 테스트 정확도(99.20%)를 기록했다.
• 세분화된 레이블 훈련은 CIFAR-10, CIFAR-100, ImageNet 서브셋을 포함한 모든 테스트된 데이터셋에서 훈련 정확도(최적화)와 테스트 정확도(일반화)를 향상시켰다.
• 세분화된 레이블의 성능 향상은 군집 클래스 수가 증가함에 따라 감소했으며, CIFAR-100에서 군집 클래스 수가 15를 초과하면 성능 향상이 거의 없었다.
• 평균 혼동 비율(ACR) 지표는 성능 향상과 강하게 상관관계가 있었으며, 높은 ACR 값일수록 테스트 정확도 향상이 더 크다는 것을 예측했다.
• 세분화된 레이블에 점점 더 무작위성이 증가하는 노이즈를 도입할수록 세분화된 레이블 훈련의 성능 향상이 감소했으며, 이는 레이블 품질이 핵심임을 시사했다.
• 세분화된 레이블 훈련은 빠른 수렴과 더 나은 특징 학습을 이끌어내어, 군집 클래스로의 일반화 능력을 향상시켰다.