[논문 리뷰] Measuring Dataset Granularity

Yin Cui, Zeqi Gu외 4명|arXiv (Cornell University)|2019. 12. 21.

Anomaly Detection Techniques and Applications참고 문헌 48인용 수 7

한 줄 요약

이 논문은 클러스터링 이론을 바탕으로 레이블된 데이터와 거리 함수에 의존하는 연속적이고 축약된 프레임워크를 제안하여 데이터셋의 세분성(granularity)을 측정한다. 일致성, 불변성, 척도 불변성 등을 만족하는 측정법인 BHG와 C 지표를 도입하고 검증하여, 일반적으로 세분성이 높다고 여겨지는 CUB-200와 같은 데이터셋 내부에 CIFAR-10과 같은 표준적인 굵은 데이터셋과 유사한 더 굵은 부분집합이 존재함을 드러낸다.

ABSTRACT

Despite the increasing visibility of fine-grained recognition in our field, "fine-grained'' has thus far lacked a precise definition. In this work, building upon clustering theory, we pursue a framework for measuring dataset granularity. We argue that dataset granularity should depend not only on the data samples and their labels, but also on the distance function we choose. We propose an axiomatic framework to capture desired properties for a dataset granularity measure and provide examples of measures that satisfy these properties. We assess each measure via experiments on datasets with hierarchical labels of varying granularity. When measuring granularity in commonly used datasets with our measure, we find that certain datasets that are widely considered fine-grained in fact contain subsets of considerable size that are substantially more coarse-grained than datasets generally regarded as coarse-grained. We also investigate the interplay between dataset granularity with a variety of factors and find that fine-grained datasets are more difficult to learn from, more difficult to transfer to, more difficult to perform few-shot learning with, and more vulnerable to adversarial attacks.

연구 동기 및 목표

• 시각 인식 데이터셋에서 '세분성'에 대한 정확하고 정량적인 정의가 부족한 문제를 해결하기 위해.
• 레이블과 거리 함수에 모두 의존하는 연속적인 측정법으로 데이터셋의 세분성을 공식화하기 위해.
• 유효한 세분성 측정법이 따라야 할 축약 성질의 집합—세분성 일관성, 동형 불변성, 척도 불변성—을 수립하기 위해.
• 계층적 데이터셋을 사용해 후보 측정법을 경험적으로 평가하고, 다양한 딥 네트워크 특징에 대해 그 탄력성을 평가하기 위해.
• 세분성의 영향을 전이 학습, 소수 샘플 학습, 적대적 공격에 대한 강건성과 같은 후행 학습 작업에 미치는 영향을 조사하기 위해.

제안 방법

• 세 가지 핵심 성질—세분성 일관성(클래스를 병합하면 세분성이 증가함), 동형 불변성(레이블 순서 변경이 측정에 영향을 주지 않음), 척도 불변성(거리의 스케일링이 측정에 영향을 주지 않음)—을 가진 축약 프레임워크를 제안한다.
• 두 가지 후보 측정법을 도입: BHG(내부 클래스 및 외부 클래스 거리 비율에 기반)와 C 지표(세분성에 적합하게 수정된 클러스터링 품질 측정법).
• 계층적 레이블링 구조를 기준 참조 도구로 사용: 하位 클래스를 슈퍼클래스로 병합하면 반드시 세분성 점수를 증가시켜야 한다.
• 거리 함수로 ImageNet에서 사전 훈련된 ResNet-50 특징을 사용하며, 다양한 아키텍처를 통해 탄력성을 검증한다.
• CUB-200, CIFAR-10 등 기준 데이터셋에 측정법을 적용하여 상대적 세분성 수준을 비교한다.
• 클래스 병합을 시뮬레이션한 통제 실험을 통해 측정법의 축약 성질 준수 여부를 검증한다.

실험 결과

연구 질문

• RQ1 세분성과 굵은 분류의 직관적 개념을 반영할 수 있는 연속적이고 수학적으로 탄탄한 데이터셋 세분성 측정법을 정의할 수 있는가?
• RQ2 거리 함수의 선택(예: 특징 추출기 및 거리 측정법)이 데이터셋의 측정된 세분성에 어떤 영향을 미치는가?
• RQ3 제안된 세분성 측정법은 다양한 모델 아키텍처와 데이터셋 유형에 대해 탄력적인가?
• RQ4 데이터셋의 세분성은 전이 학습 및 소수 샘플 학습과 같은 후행 학습 작업의 어려움과 어떤 관련이 있는가?
• RQ5 세분성이 높은 데이터셋은 굵은 데이터셋에 비해 적대적 공격에 더 취약한가?

주요 결과

• 제안된 세분성 측정법은 일반적으로 세분성이 높다고 여겨지는 CUB-200와 같은 데이터셋의 부분집합이 CIFAR-10과 같은 표준 굵은 데이터셋보다 훨씬 더 굵은 것으로 밝혀졌다.
• 일반적으로 굵은 세분성으로 여겨지는 CIFAR-10은 CUB-200에서 추출한 굵은 부분집합(CUB-200-Sweet)보다 더 세분성이 높은 것으로 나타났다.
• 다양한 거리 함수와 모델 아키텍처 간에도 세분성의 상대적 순위는 안정적이어서 측정법의 탄력성을 보여주었다.
• 세분성이 높은 데이터셋은 항상 학습이 더 어려우며, 전이 학습이 더 어렵고, 소수 샘플 학습에 더 도전적이며, 적대적 공격에 더 취약했다.
• BHG와 C 지표 측정법 모두 세 가지 축약 성질—세분성 일관성, 동형 불변성, 척도 불변성—을 만족한다.
• C 지표는 내부 클래스 거리 감소와 외부 클래스 거리 증가를 유도하는 변환은 항상 C 지표 값을 증가시키므로, 세분성 일관성이 입증되었다.