[논문 리뷰] Are All Training Examples Created Equal? An Empirical Study

Kailas Vodrahalli, Ke Li외 1명|arXiv (Cornell University)|2018. 11. 30.

Machine Learning and Algorithms참고 문헌 18인용 수 45

한 줄 요약

문제는 데이터셋 간 학습 이미지의 상대 가치를 평가하기 위한 gradient 기반 중요도 측정치를 소개하고, 작고 선택된 하위집합이 전체 데이터셋을 얼마나 잘 대표할 수 있는지 살펴본다. MNIST에서 중복성이 존재하는 반면, CIFAR-10/100 및 ImageNet에서는 다양성(중복이 거의 없음)이 관찰되어 활성 학습 및 데이터 수집에 시사점을 제시한다.

ABSTRACT

Modern computer vision algorithms often rely on very large training datasets. However, it is conceivable that a carefully selected subsample of the dataset is sufficient for training. In this paper, we propose a gradient-based importance measure that we use to empirically analyze relative importance of training images in four datasets of varying complexity. We find that in some cases, a small subsample is indeed sufficient for training. For other datasets, however, the relative differences in importance are negligible. These results have important implications for active learning on deep networks. Additionally, our analysis method can be used as a general tool to better understand diversity of training examples in datasets.

연구 동기 및 목표

• 비전 과제를 위한 딥러닝의 대규모 학습 데이터셋 속성 이해 필요성 제시
• 각 이미지의 학습 가치를 정량화하는 gradient 기반 중요도 지표 제안
• gradient 기반 중요도에 의해 선택된 하위샘플이 전체 데이터셋의 성능을 여러 데이터셋과 아키텍처에서 얼마나 잘 재현하는지 평가
• 데이터셋 특성으로서 단순성 및 중복성 분석을 통해 다양성과 학습 난이도 해석

제안 방법

• 전체 데이터셋으로 네트워크를 학습하고 학습 종료 시 모델 파라미터에 대한 손실의 per-image gradient를 계산
• 중요도에 따라 gradient의 크기를 이용해 상위에 랭크된 이미지들로 크기 k의 하위샘플을 선택
• Random, Max-Gradient, Non-extreme Max-Gradient, Gradient-CDF(gradient 크기에 비례하는 확률적 샘플링) 등 하위샘플링 전략 비교
• 각 하위샘플마다 무작위 초기화에서 모델 재학습을 수행해 테스트 정확도를 측정하고 이를 하위집합의 대표성 proxy로 사용
• gradient 기반 순위의 교차 모델 일관성과 상위-k 이미지의 클래스-레이블 엔트로피를 분석해 다양성과 모델 의존성 평가

실험 결과

연구 질문

• RQ1 gradient 기반 중요도 점수가 전체 데이터셋으로 얻은 성능과 일치하는 작은 하위집합을 식별하는가?
• RQ2 데이터셋의 복잡도(MNIST 대 CIFAR-10/100 대 ImageNet)가 gradient 기반 하위샘플링의 효율성에 어떻게 영향을 미치는가?
• RQ3 데이터셋 내 서로 다른 모델 아키텍처에서도 gradient 기반 중요도 지표가 견고한가?
• RQ4 gradient 기반 데이터 선택을 사용할 때 활성 학습 및 데이터셁 수집에 대한 시사점은 무엇인가?

주요 결과

• MNIST는 상당한 중복성을 보이며; Max-Gradient 하위샘플링은 아주 작은 데이터 fraction으로도 전체 데이터 성능과 일치할 수 있음
• CIFAR-10, CIFAR-100, ImageNet은 일반적으로 최적 성능을 위해 대부분의 학습 예제가 필요하며 gradient 기반 하위샘플링은 CIFAR 데이터셋에서 종종 무작위 샘플링보다 약한 성능을 냄
• Gradient-CDF(확률적 gradient 기반 샘플링)는 순수 Max-Gradient 방법에서 나타나는 편향을 완화하며 무작위 샘플링과 거의 비슷한 성능에 근접
• 상위 gradient 이미지는 모델에 따라 달라질 수 있어 ‘어려운’ 예시가 아키텍처에 의존하는 경우가 있지만, 모델 간 gradient 기반 순서의 교차 모델 유사성 등 일부 결과는 일반화됨
• 이 연구는 딥 네트워크의 활성 학습이 MNIST보다 다양성을 가지는 데이터셋(CIFAR 및 ImageNet)에서 더 도전적일 수 있음을 시사하며, 이는 중복성이 낮기 때문임