[논문 리뷰] Estimating Example Difficulty Using Variance of Gradients

Chirag Agarwal, Daniel D’souza외 1명|arXiv (Cornell University)|2020. 08. 26.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 훈련 중 기울기의 분산을 사용하여 데이터 예제의 난이도를 어려움 순으로 정렬하는 계산적으로 효율적이고 모델에 종속되지 않는 방법인 기울기 분산(VoG)을 소개한다. VoG는 혼잡한 배경, 비표준 시점 또는 기억된 특징을 가진 예제와 같은 어려운 예제를 식별하며, 낮은 VoG를 가진 테스트 샘플을 걸러내는 데 사용할 경우 모델의 일반화 능력을 향상시키고, 보조 모델이나 레이블이 없는 조건에서도 9개의 OoD 검출 방법보다 뛰어나 9.26%의 정밀도 향상을 달성한다.

ABSTRACT

In machine learning, a question of great interest is understanding what examples are challenging for a model to classify. Identifying atypical examples ensures the safe deployment of models, isolates samples that require further human inspection and provides interpretability into model behavior. In this work, we propose Variance of Gradients (VoG) as a valuable and efficient metric to rank data by difficulty and to surface a tractable subset of the most challenging examples for human-in-the-loop auditing. We show that data points with high VoG scores are far more difficult for the model to learn and over-index on corrupted or memorized examples. Further, restricting the evaluation to the test set instances with the lowest VoG improves the model's generalization performance. Finally, we show that VoG is a valuable and efficient ranking for out-of-distribution detection.

연구 동기 및 목표

• 대규모 데이터셋에서 인간이 개입하는 감사 작업을 위해 가장 어려운 예제를 효율적이고 확장 가능한 방식으로 식별하는 데 목적이 있다.
• 특히 이질적인 시각적 특성이나 손상된 특징을 가진 예제를 모델이 분류하기 어려운 점을 드러내어 설명 가능성과 해석 가능성을 높이는 데 목적이 있다.
• 평가 단계에서 고-VoG 예제를 걸러내어 모델의 일반화 성능을 향상시키는 데 목적이 있다.
• 보조 모델이나 레이블이 없는 조건에서 비지도이고 도메인에 종속되지 않는 방식으로 OoD 검출에 VoG를 평가하는 데 목적이 있다.

제안 방법

• VoG는 각 데이터 샘플에 대해 훈련 체크포인트 여러 개에서 기울기의 분산을 계산하여 기울기 업데이트가 시간에 따라 얼마나 변동하는지 측정한다.
• 이 방법은 서로 다른 클래스 간의 공정한 비교를 가능하게 하기 위해 각 클래스별로 이 분산을 정규화한다.
• 고 VoG 점수는 기울기 신호가 불안정하게 일관되게 훈련에 영향을 주는 예제를 나타내며, 이는 난이도를 의미한다.
• VoG는 기존 모델 체크포인트에서 표준 역전파 기울기만을 사용하여 계산되며, 추가 훈련이나 모델 수정이 필요하지 않다.
• OoD 검출을 위해 VoG 점수는 반전되어 분포 외 샘플을 순위 매기는데 사용되며, AUPR 및 AUROC 평가에서 이들을 긍정 클래스로 간주한다.
• 이 방법은 CIFAR-10, CIFAR-100, ImageNet에서 ResNet-50 및 Wide ResNet-28-10에 적용되었으며, 훈련 동역학과 데이터 손상에 대한 분석도 수행되었다.

(a) Toy dataset trained decision boundary

실험 결과

연구 질문

• RQ1 훈련 시간에 걸쳐 기울기 분산을 효과적으로 사용하여 확장 가능하고 모델에 종속되지 않는 방식으로 예제의 난이도를 순위 매길 수 있는가?
• RQ2 고-VoG 예제는 시각적으로 복잡하거나 손상되었거나 기억된 샘플과 관련이 있는가? 이러한 예제들은 모델이 학습하기 어려운가?
• RQ3 낮은 VoG를 가진 테스트 예제를 걸러내는 것으로 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ4 기존 최첨단 OoD 검출 방법과 비교했을 때 VoG는 어떤가?
• RQ5 VoG는 훈련 단계의 모델 학습 동역학에서 의미 있는 패턴을 드러내는가?

주요 결과

• VoG 점수는 어려운 예제를 효과적으로 식별하며, 고-VoG 이미지들은 혼잡한 배경과 비표준 객체 시점에 대해 과도하게 인덱싱된다.
• 고-VoG 점수를 가진 이미지는 손상된 데이터셋(MNIST-C 등) 평가를 통해 손상되거나 기억된 경우일 가능성이 더 높다는 것이 확인되었다.
• 가장 낮은 VoG를 가진 테스트 예제로 평가를 제한함으로써 모델의 일반화 성능이 향상되었으며, 이는 VoG가 어려운 케이스를 걸러내는 데 유용함을 보여준다.
• VoG는 MNIST-C에서 기존 9개의 OoD 검출 방법보다 뛰어나 AUROC 85.42 ± 10.28과 AUPR(Out) 84.96 ± 9.61을 기록했으며, 모든 기준선 대비 9.26%의 정밀도 향상을 달성했다.
• AE 및 AEGAN과 같은 방법과 비교해 VoG는 더 뛰어난 확장성을 보이며, 보조 모델을 별도로 훈련시켜야 하는 복잡한 방법들과 달리 ImageNet과 같은 대규모 데이터셋에도 스케일링이 가능하다.
• VoG는 초기 훈련 단계에서 색상 편향을 드러내며, 후기 단계에서는 저-VoG 이미지가 원형의 시점과 깔끔한 배경을 보여주는 것을 포착한다.

(b) Distance vs. VoG score