[논문 리뷰] Distribution Density, Tails, and Outliers in Machine Learning: Metrics and Applications

Nicholas Carlini, Úlfar Erlingsson외 1명|arXiv (Cornell University)|2019. 10. 29.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 19

한 줄 요약

이 논문은 적대적 로버스트니, 재학습 안정성, 앙상블 일치도, 차별적(private) 학습 기반으로, 데이터셋의 기본 분포 내에서 각 예제가 얼마나 잘 표현되었는지 또는 이방성에 가까운지 수량화하기 위한 다섯 가지 별개의 지표를 소개한다. 접근 방식이 다르지만 이 지표들은 높은 상관관계를 보이며, 기억된 학습 예제나 드문 하위모드와 같은 중요한 통찰을 드러내어, 개선된 커리큘럼 학습과 적대적 로버스트니를 가능하게 한다.

ABSTRACT

We develop techniques to quantify the degree to which a given (training or testing) example is an outlier in the underlying distribution. We evaluate five methods to score examples in a dataset by how well-represented the examples are, for different plausible definitions of "well-represented", and apply these to four common datasets: MNIST, Fashion-MNIST, CIFAR-10, and ImageNet. Despite being independent approaches, we find all five are highly correlated, suggesting that the notion of being well-represented can be quantified. Among other uses, we find these methods can be combined to identify (a) prototypical examples (that match human expectations); (b) memorized training examples; and, (c) uncommon submodes of the dataset. Further, we show how we can utilize our metrics to determine an improved ordering for curriculum learning, and impact adversarial robustness. We release all metric values on training and test sets we studied.

연구 동기 및 목표

• 사전에 '표현성'을 정의하지 않고도 데이터 분포 내에서 예제가 얼마나 잘 표현되었는지를 수량화하는 지표 세트를 개발하는 것.
• 다양한 표현성 정의 간 상호작용을 이해하고, 그들의 불일치가 의미 있는 데이터 특성들을 드러내는 방식을 분석하는 것.
• 표준형, 기억된, 또는 드문 하위모드 예제를 식별함으로써 데이터 필터링을 통한 개선된 모델 학습을 가능하게 하는 것.
• 표현성 지표에 기반해 학습 데이터를 정렬함으로써 커리큘럼 학습을 향상시키는 것.
• 정확도를 넘어서 데이터 분포 특성을 분석함으로써 적대적 로버스트니와 모델의 해석 가능성을 향상시키는 것.

제안 방법

• 적대적 로버스트니, 재학습 안정성, 앙상블 일치도, 차별적(private) 학습 기반으로 다섯 가지 별개의 지표를 정의한다.
• 이 다양한 접근 방식이 상호보완적이지만 서로 다른 방식으로, 각 데이터 포인트를 잘 표현된 상태에서 이방성에 가까운 상태로 이르는 연속선 상에서 점수를 매긴다.
• 네 가지 벤치마크 데이터셋(MNIST, Fashion-MNIST, CIFAR-10, ImageNet)에 이 지표들을 적용한다.
• 지표 간 불일치를 통해 표준형 예제, 기억된 학습 인스턴스, 희귀한 하위모드를 식별한다.
• 재학습 시 예측 안정성이 적대적 거리와 강하게 상관관계가 있음을 입증하여, 복잡한 작업에서 이를 적대적 로버스트니 평가의 실용적 근사치로 사용할 수 있음을 보여준다.
• 재현 가능성과 향후 연구를 지원하기 위해 학습 및 테스트 세트의 모든 지표 점수를 공개한다.

실험 결과

연구 질문

• RQ1 다양한 지표 간 '잘 표현된' 정의 간 상관관계는 어떻게 되며, 그들의 불일치에서 어떤 통찰이 도출되는가?
• RQ2 이 지표들은 실제 세계 데이터셋에서 기억된 학습 예제나 희귀한 하위모드를 식별할 수 있는가?
• RQ3 표현성 기반으로 데이터를 필터링할 경우, 모델 학습 속도, 정확도, 적대적 로버스트니에 어떤 영향을 미치는가?
• RQ4 비선형적이거나 복잡한 모델에서 재학습 안정성이 적대적 거리의 대체 지표로 얼마나 유용한가?
• RQ5 표현성 기반으로 학습 예제를 정렬함으로써 커리큘럼 학습을 향상시킬 수 있는가?

주요 결과

• 다섯 가지 지표는 대부분의 학습 및 테스트 예제에서 높은 상관관계를 보이며, 표현성에 대한 일관된 기초 개념이 있음을 시사한다.
• 지표 간 불일치는 의미 있는 데이터 이상 현상을 드러낸다: 기억된 학습 예제와 학습 데이터에 잘 표현되지 않은 드문 하위모드.
• 잘 표현된 예제들만으로 학습된 모델는 더 빠르게 학습되며, 더 단순한 决定 경계를 가지며, 약간 더 적대적으로 로버스트하다.
• 지표 불일치를 통해 잘못되거나 오해의 소지가 있는 예제를 제거한 후 이방성 예제들만으로 학습하면, 동일한 샘플 복잡도에서 전체 정확도가 크게 향상된다.
• 재학습 안정성이 적대적 거리와 강하게 상관관계가 있음을 확인하여, 이는 복잡한 모델에서 적대적 로버스트니 평가의 실용적 근사치로 사용될 수 있음을 시사한다.
• MNIST, Fashion-MNIST, CIFAR-10, ImageNet에 대한 모든 지표 점수를 공개함으로써, 향후 데이터 분포 분석 및 모델의 해석 가능성 연구에 유용한 자원을 제공한다.