[논문 리뷰] Why do classifier accuracies show linear trends under distribution shift?

Horia Mania, Suvrit Sra|arXiv (Cornell University)|2020. 12. 31.

Machine Learning and Data Classification참고 문헌 23인용 수 4

한 줄 요약

이 논문은 분포 이탈 하에서 딥러닝 분류기 정확도가 약선형 추세를 보이는 이유를 설명하며, 이 현상은 모델 유사성 때문이라고 밝힌다: 고정확도 모델이 낮은 정확도 모델이 맞게 분류하는 대부분의 예시를 정확히 분류하기 때문이다. 이러한 가정 하에, 두 분포에서의 정확도 간 선형 관계가 발생하며, 분포 이탈이 크지 않은 한 유지된다. 이는 모델의 강건성과 일반화 능력에 대한 통찰을 제공한다.

ABSTRACT

Recent studies of generalization in deep learning have observed a puzzling trend: accuracies of models on one data distribution are approximately linear functions of the accuracies on another distribution. We explain this trend under an intuitive assumption on model similarity, which was verified empirically in prior work. More precisely, we assume the probability that two models agree in their predictions is higher than what we can infer from their accuracy levels alone. Then, we show that a linear trend must occur when evaluating models on two distributions unless the size of the distribution shift is large. This work emphasizes the value of understanding model similarity, which can have an impact on the generalization and robustness of classification models.

연구 동기 및 목표

• 원래 데이터 분포와 이탈된 분포에서의 정확도 간 약선형 관계가 나타나는 이유를 이해한다.
• 특히 분포 이탈의 맥락에서 이러한 선형 추세가 나타나는 조건을 조사한다.
• CIFAR-10.1 및 ImageNetV2와 같은 데이터셋에서 관찰된 모델 성능의 공선성에 대한 이론적 기반을 제공한다.
• 모델 유사성이 일반화 및 강건성에 어떻게 영향을 미치는지 탐구한다. 특히 최근의 분포 이탈 벤치마크를 고려하여 분석한다.
• 모델이 선형 추세를 뚜렷이 위반하는 상황을 특정하여, 현재 모델 행동을 초월한 효과적인 강건성의 잠재 가능성을 밝힌다.

제안 방법

• 원래 분포 P와 이탈된 분포 Q를 사용하여 문제를 수식화하고, 각 분포에서의 모델 정확도 μ_i와 μ̃_i를 정의한다.
• 모델 유사성에 기반한 가정을 도입한다: 고정확도 모델이 올바르게 분류하고 낮은 정확도 모델이 잘못 분류할 확률은 작다.
• 이 가정을 바탕으로 μ_i와 μ̃_i 간의 관계에 대한 이론적 경계를 유도하며, 분포 이탈이 크지 않은 한 선형 추세가 반드시 나타나야 한다고 보여준다.
• probit 척도 선형 회귀가 표준 선형 회귀보다 더 좋은 피팅을 제공하는 조건을 분석하며, 이는 모델 포화 및 상한 경계와 연결된다.
• 조각별 선형 피팅을 사용하여 두 세그먼트로 이루어진 추세가 probit-선형 피팅만큼의 성능을 달성함을 보여주며, 더 넓은 적용 가능성을 시사한다.
• ImageNet 및 CIFAR-10 모델을 사용하여 이론적 결과를 실증적으로 검증하며, 선형, probit, 조각별 피팅을 비교한다.

실험 결과

연구 질문

• RQ1 왜 분포 이탈 하에서 두 분포에서의 분류기 정확도가 약선형 관계를 보이는가?
• RQ2 이 선형 추세가 깨지는 조건은 무엇이며, 언제 유지될 수 있는가?
• RQ3 모델 유사성 — 특히 올바른 예측에 대한 일치 — 이 관찰된 선형 추세를 어떻게 설명하는가?
• RQ4 왜 ImageNet 모델에 대해 probit 척도 변환을 적용하면 더 나은 선형 피팅이 되며, 이 현상은 일반화 가능한가?
• RQ5 조각별 선형 피팅이 단순 선형 또는 probit-선형 피팅보다 데이터를 더 잘 설명할 수 있는가? 이는 모델 성능의 기본 구조에 대해 어떤 통찰을 제공하는가?

주요 결과

• 고정확도 모델이 낮은 정확도 모델이 맞게 분류하는 대부분의 예시를 정확히 분류한다는 가정 하에, 분포 이탈이 크지 않은 한 두 분포에서의 정확도 간 선형 관계는 반드시 성립한다.
• 중간 크기의 분포 이탈에 대해서도 선형 추세는 강건하며, 이는 CIFAR-10.1 및 ImageNetV2와 같은 벤치마크에서 관찰된 공선성의 일관성에 대한 설명이 된다.
• ImageNet 모델에 대해 probit 척도 선형 피팅이 더 우수한 피팅 성능을 보이며, 저자들은 이를 모델 포화와 좁은 이론적 상한 경계와 연결지어 설명한다.
• 두 세그먼트로 이루어진 조각별 선형 피팅은 R² = 0.997을 달성하여 probit-선형 피팅 성능(차이: 4×10⁻⁴)과 동일하게 되며, 이는 조각별 추세가 이전에 생각한 것보다 더 일반적일 수 있음을 시사한다.
• CLIP 모델은 훨씬 더 큰 데이터셋에서 학습되어, ImageNetV2에서 선형 추세를 뚜렷이 위반한다. 이는 이 모델이 이전 모델들과 유사성이 낮아 효과적으로 강건할 수 있음을 시사하지만, 이는 추가 분석이 필요하다.
• 모델 간 유사성이 떨어지는 경우, 작은 분포 이탈 조건에서도 새로운 모델이 선형 추세 위아래에 위치할 수 있으며, 이는 현재 추세 예측을 초월한 효과적인 강건성을 가능하게 한다.