[논문 리뷰] Semantic Redundancies in Image-Classification Datasets: The 10% You Don't Need

Vighnesh Birodkar, Hossein Mobahi외 1명|arXiv (Cornell University)|2019. 01. 29.

Advanced Neural Network Applications참고 문헌 31인용 수 18

한 줄 요약

이 논문은 ImageNet과 CIFAR-10의 훈련 데이터 중 최소 10%가 의미론적으로 중복되며, 이는 모델의 일반화 성능을 떨어뜨리지 않고 제거할 수 있음을 규명하고 입증한다. 의미론적 클러스터링을 통해 특성 공간에서 자세, 색상, 질감 또는 배경의 미세한 변형이 있는 이미지들이 중복 그룹을 이룬다는 점을 보여주며, 이들의 제거가 테스트 정확도를 유지함으로써 기존의 대규모 데이터셋에서의 자료 중복성 부재에 대한 가정을 도전한다.

ABSTRACT

Large datasets have been crucial to the success of deep learning models in the recent years, which keep performing better as they are trained with more labelled data. While there have been sustained efforts to make these models more data-efficient, the potential benefit of understanding the data itself, is largely untapped. Specifically, focusing on object recognition tasks, we wonder if for common benchmark datasets we can do better than random subsets of the data and find a subset that can generalize on par with the full dataset when trained on. To our knowledge, this is the first result that can find notable redundancies in CIFAR-10 and ImageNet datasets (at least 10%). Interestingly, we observe semantic correlations between required and redundant images. We hope that our findings can motivate further research into identifying additional redundancies and exploiting them for more efficient training or data-collection.

연구 동기 및 목표

• ImageNet과 CIFAR-10과 같은 널리 사용되는 이미지 분류 데이터셋에 상당한 중복성이 존재하는지 조사하기 위해.
• 이러한 데이터셋이 주로 중복성이 없음을 전제로 하는 기존의 인식에 도전하기 위해, 특히 이와 반대되는 이전의 주장들에 대비하여.
• 자신의 의미론적 변형이 미미한 이미지의 일부 집합을 안전하게 제거해도 모델의 일반화 성능에 영향을 주지 않음을 입증하기 위해.
• 의미론적 클러스터링이 훈련 데이터 내 중복 그룹을 식별할 수 있음을 경험적으로 입증함으로써, 더 효율적인 데이터 사용이 가능한 길을 제시하기 위해.

제안 방법

• 저자들은 사전 훈련된 ResNet 등의 심층 신경망 특징을 사용하여 이미지를 의미론적 특성 공간에 매핑한다.
• 학습된 비유사도 메트릭을 사용한 적층 클러스터링을 적용하여 데이터셋 전반에 걸쳐 의미적으로 유사한 이미지를 그룹화한다.
• 각 클러스터 내의 이미지들은 자세, 색상, 질감 또는 배경과 같은 미세한 특성의 변화만을 보이며, 이는 중복으로 간주된다.
• 각 클러스터에서 한 개의 대표 이미지만 선택하고 나머지는 모두 제거하여 축소된 훈련 세트를 구성한다.
• 모델 성능은 축소된 데이터셋에서 평가되어 전체 데이터셋과의 일반화 성능를 비교한다.
• 이 방법은 ImageNet, CIFAR-10, CIFAR-100 전반에서 검증되었으며, 다양한 크기의 서브셋에 대한 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 표준 이미지 분류 데이터셋인 ImageNet과 CIFAR-10에서 상당한 의미론적 중복성을 식별할 수 있는가?
• RQ2 자신의 의미론적 변형이 미미한 이미지들을 제거하는 것이 모델의 일반화 성능에 악영향을 주는가?
• RQ3 클러스터링을 통해 축소된 데이터셋에서 훈련된 모델의 성능은 랜덤 서브셋 또는 전체 데이터셋에서 훈련된 모델과 비교해 어떻게 되는가?
• RQ4 왜 일부 연구에서는 축소된 데이터셋에서 성능 향상이 약간 관찰되었는가에 비추어 볼 때, 훈련 데이터의 중복성이 최적화를 저해할 수 있는가?
• RQ5 CIFAR-100에서는 ImageNet과 CIFAR-10와는 달리 감지 가능한 중복성이 없는 이유는 무엇인가?

주요 결과

• ImageNet과 CIFAR-10의 훈련 세트에서 최소 10%를 완전히 제거해도, 처음부터 훈련할 경우 테스트 정확도에 하락이 없음을 확인하였다.
• 기존 크기의 90%로 축소된 데이터셋에서 훈련된 모델의 성능는 전체 데이터셋에서 훈련된 모델와 동일하거나 약간 뛰어나며, 이는 중복성으로 인해 최적화가 저해될 수 있음을 시사한다.
• 중복 그룹은 색상, 자세, 질감 또는 배경과 같은 미세한 의미론적 변형을 기반으로 정의되며, 각 클러스터 내에서 시각적으로 일관된 편이다.
• CIFAR-10의 의미론적 중복 그룹은 밀도가 높고, 의미 공간에서 뭉쳐져 있는 반면, CIFAR-100의 경우 점들이 더 흩어져 있어 감지 가능한 중복성이 없는 것으로 설명된다.
• 중복 그룹에서 제외되었지만 의미 공간에서 가까운 이미지들 역시 핵심 속성(예: 승용차 vs 스포츠카)에서 다름을 보이며, 이는 방법의 의미론적 차이를 감지하는 민감도를 확인한다.
• 이전의 이러한 데이터셋에 중복성이 없다는 주장에 반박하며, 의미론적 중복 샘플을 식별하고 제거함으로써 데이터 효율성을 향상시킬 수 있음을 시사한다.