[논문 리뷰] Exploring the Memorization-Generalization Continuum in Deep Learning

Ziheng Jiang, Chiyuan Zhang외 2명|arXiv (Cornell University)|2020. 02. 08.

Anomaly Detection Techniques and Applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 개별 인스턴스에 대해 딥 러닝 모델의 예측 신뢰도를 수량화하기 위해 일致성 점수(C-score)를 도입하여, 기억화-일반화 연속체를 드러낸다. 다양한 훈련 세트 크기에서 모델의 일관성을 추정함으로써, C-score는 한쪽 끝에서는 분포 외 및 잘못 레이블링된 예제를, 다른 쪽 끝에서는 일반적인 일반화 가능한 패턴을 식별하며, 이는 이상치 탐지 및 표현 학습에 대한 통찰을 향상시킨다.

ABSTRACT

Human learners appreciate that observations usually form hierarchies of regularities and sub-regularities. For example, English verbs have irregular cases that must be memorized (e.g., go -> went) and regular cases that generalize well (e.g., kiss -> kissed, miss -> missed). Likewise, deep neural networks have the capacity to memorize rare or irregular forms but nonetheless generalize across instances that share common patterns or structures. We analyze how individual instances are treated by a model via a consistency score. The score is the expected accuracy of a particular architecture for a held-out instance on a training set of a given size sampled from the data distribution. We obtain empirical estimates of this score for individual instances in multiple data sets, and we show that the score identifies out-of-distribution and mislabeled examples at one end of the continuum and regular examples at the other end. We explore two categories of proxies to the consistency score: pairwise distance based proxy and the training statistics based proxies. We conclude with two applications using C-scores to help understand the dynamics of representation learning and filter out outliers, and discussions of other potential applications such as curriculum learning, and active data collection.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 희귀하거나 비정상적인 인스턴스를 얼마나 잘 기억하고, 일반적인 패턴으로 얼마나 잘 일반화하는지 이해하기 위해.
• 다양한 훈련 세트 크기에서 각 인스턴스에 대한 모델 일관성의 측정 가능한 대체 지표를 개발하여, 그 신뢰도를 평가하기 위해.
• 일관성 점수를 사용하여 분포 외 및 잘못 레이블링된 예제를 식별함으로써 데이터 품질 향상과 모델의 강건성 향상을 위해.
• C-score가 표현 학습, 커리큘럼 학습, 활성 데이터 수집에서 어떻게 활용될 수 있는지 탐색하여 훈련 동역학을 향상시키기 위해.

제안 방법

• 다양한 크기의 랜덤 훈련 세트 샘플에 대해 훈련된 모델이 보류된 인스턴스에 대해 기대 정확도를 일관성 점수로 정의한다.
• 데이터 분포에서 추출한 여러 훈련 세트 샘플을 사용하여 개별 인스턴스에 대해 일관성 점수를 경험적으로 추정한다.
• 두 가지 대체 방법을 제안한다: 특성 유사도를 기반으로 하는 쌍별 거리 기반 대체 방법과 훈련 중 활성화 패턴을 기반으로 하는 훈련 통계 기반 대체 방법.
• 다양한 훈련 세트 크기에서 낮은 일관성을 보이는 인스턴스를 식별함으로써, C-score를 사용해 분포 외 및 잘못 레이블링된 예제를 탐지한다.
• 고일관성, 일반화 가능한 예제를 우선순위로 정렬함으로써 C-score를 사용해 데이터를 필터링하고 표현 학습 동역학을 향상시킨다.
• 다양한 데이터셋에서 방법을 평가하여, 일반적인 일반화 가능한 인스턴스와 비정상적이거나 손상된 인스턴스를 구분하는 데의 능력을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 훈련 세트 크기에서 각 인스턴스에 대한 모델 일관성을 어떻게 수량화할 수 있을까? 이를 통해 기억화-일반화 연속체를 드러낼 수 있는가?
• RQ2 C-score는 낮은 일관성에 기반해 얼마나 잘 분포 외 및 잘못 레이블링된 예제를 식별할 수 있는가?
• RQ3 쌍별 거리 기반 대체 방법과 훈련 통계 기반 대체 방법은 일관성 점수 추정에서 어떻게 비교될 수 있는가?
• RQ4 훈련 중에 저일관성, 이상치에 취약한 예제를 필터링함으로써 C-score는 표현 학습을 어떻게 향상시킬 수 있는가?
• RQ5 C-score는 커리큘럼 학습과 활성 데이터 수집에서 어떤 잠재적 응용이 가능한가?

주요 결과

• C-score는 다양한 훈련 세트 크기에서 낮은 일관성을 감지함으로써 분포 외 및 잘못 레이블링된 예제를 효과적으로 식별한다.
• 일반적이고 일반화 가능한 예제는 일관일치하게 높은 C-score를 기록하며, 이는 다양한 훈련 세트 크기에서 모델의 강력한 신뢰도를 나타낸다.
• 훈련 통계 기반 대체 방법이 쌍별 거리 기반 대체 방법보다 더 정확한 일관성 점수 추정을 제공한다.
• C-score는 기억화와 일반화 사이에 명확한 연속체를 드러내며, 높은 점수는 일반화를, 낮은 점수는 희귀하거나 손상된 인스턴스의 기억화를 나타낸다.
• 저C-score 예제를 필터링함으로써 모델의 일반화 능력과 표현 학습 동역학이 향상된다.
• 고일관성, 정보성 높은 예제를 우선순위로 정렬함으로써, 이 방법은 커리큘럼 학습 및 활성 데이터 수집과 같은 실용적 응용을 가능하게 한다.