[논문 리뷰] Characterizing Structural Regularities of Labeled Data in Overparameterized Models

Ziheng Jiang, Chiyuan Zhang외 2명|arXiv (Cornell University)|2020. 02. 08.

Machine Learning and Data Classification참고 문헌 25인용 수 7

한 줄 요약

이 논문은 깊이 학습 모델이 다양한 훈련 세트 크기에서 개별 데이터 인스턴스로 일반화하는 데 얼마나 신뢰할 수 있는지 수량화하는 일致성 점수인 C-스코어를 소개한다. MNIST, CIFAR-10, CIFAR-100 및 ImageNet에서 이 점수를 경험적으로 추정한 결과, 고밀도 모드(정규적인)에서 희박 모드(비정상적이거나 분포 외)로의 예측을 효과적으로 순위 매길 수 있었으며, 과다 매개변수화된 모델에서 잘못 레이블링된 데이터와 구조적 이상치를 탐지하는 데 기여한다.

ABSTRACT

Humans are accustomed to environments that contain both regularities and exceptions. For example, at most gas stations, one pays prior to pumping, but the occasional rural station does not accept payment in advance. Likewise, deep neural networks can generalize across instances that share common patterns or structures, yet have the capacity to memorize rare or irregular forms. We analyze how individual instances are treated by a model via a consistency score. The score characterizes the expected accuracy for a held-out instance given training sets of varying size sampled from the data distribution. We obtain empirical estimates of this score for individual instances in multiple data sets, and we show that the score identifies out-of-distribution and mislabeled examples at one end of the continuum and strongly regular examples at the other end. We identify computationally inexpensive proxies to the consistency score using statistics collected during training. We show examples of potential applications to the analysis of deep-learning systems.

연구 동기 및 목표

• 데이터 분포의 구조적 규칙성을 반영하는 개별 인스턴스 기반 일반화 측정법을 정식화하기 위해.
• 다양한 딥 러닝 데이터셋에서 일致성 점수를 추정하는 데 계산적으로 실현 가능한 방법을 개발하기 위해.
• 과다 매개변수화된 모델에서 정규적이고 일반화 가능한 예제와 희귀하거나 비정상적인 인스턴스 사이의 연속성을 규명하고 분석하기 위해.
• C-스코어를 활용해 이상치 탐지 및 학습 동역학 분석과 같은 실용적 응용을 가능하게 하기 위해.
• 재현 가능성을 높이고 향후 딥 러닝에서의 데이터 규칙성 연구를 지원하기 위해 사전 계산된 C-스코어와 코드를 제공하기 위해.

제안 방법

• C-스코어는 기저 데이터 분포에서 샘플링된 증가하는 크기의 훈련 세트를 기반으로, 보류된 인스턴스에 대한 모델 예측 정확도의 기대값으로 정의된다.
• 일致성 프로파일 C_{P,n}(x,y)는 고정된 테스트 인스턴스에 대해 반복적으로 부분 훈련 세트로 모델을 훈련시키고 예측 신뢰도를 측정함으로써 계산된다.
• 스칼라 형태의 C-스코어는 모든 훈련 세트 크기 n에 대해 일치성 프로파일의 기대값을 취함으로써 유도된다.
• 저자는 C-스코어의 계산적으로 효율적인 대체 측정법을 제안하며, 이는 쌍별 거리 기반 및 학습 속도 기반 추정기 포함.
• 표준 합성곱 네트워크를 사용하여 MNIST, CIFAR-10, CIFAR-100 및 ImageNet에서 경험적 추정을 수행하였으며, 아키텍처 간 상관관계를 통해 결과를 검증하였다.
• 공개 사용 및 재현 가능성을 위해 NumPy 형식으로 사전 계산된 C-스코어와 모델 체크포인트를 배포하였다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 딥 러닝 모델에서 개별 데이터 인스턴스의 구조적 규칙성을 어떻게 수량화할 수 있는가?
• RQ2 C-스코어는 내부 분포에 속하는 정규적인 예제와 분포 외 또는 잘못 레이블링된 인스턴스를 어느 정도 잘 구분하는가?
• RQ3 반복적인 훈련이 필요 없이도 계산적으로 효율적인 대체 측정법이 진정한 C-스코어를 정확히 근사할 수 있는가?
• RQ4 C-스코어는 다양한 신경망 아키텍처와 데이터셋 간에 어떻게 변화하는가?
• RQ5 C-스코어는 모델 행동 분석 및 데이터 품질 평가에서 어떤 실용적 응용을 가능하게 하는가?

주요 결과

• C-스코어는 고밀도 모드(정규적)에서 희박 모드(비정상적이거나 모호한)로의 예측을 효과적으로 순위 매기며, ImageNet의 경우 대표적인 인스턴스와 모호한 인스턴스 사이에 명확한 시각적 분리가 관찰되었다.
• 학습 속도 기반 대체 측정법이 거리 기반 대체 측정법보다 진정한 C-스코어와 더 높은 상관관계를 보이며, 더 견고하고 신뢰할 수 있음을 시사한다.
• CIFAR-10에서 다양한 아키텍처(예: ResNet-18, VGG-11, VGG-16, Inception) 간 C-스코어의 슔피어만 순위 상관계수는 0.91를 초과하여, 다양한 모델 간 강력한 일致성을 보였다.
• C-스코어는 잘못 레이블링된 예제와 분포 외 예제를 효과적으로 식별하며, 저점수 인스턴스는 희귀하거나 모호한 시각적 패턴과 자주 일치한다.
• C-스코어를 통해 최적화기 간 일반화 행동을 비교하는 등 학습 동역학의 세부 분석이 가능해졌다.
• 저자는 CIFAR-10, CIFAR-100 및 ImageNet에 대해 사전 계산된 C-스코어와 코드를 배포하여 향후 데이터 규칙성 및 모델 일반화 연구를 촉진하였다.