[논문 리뷰] On the Strong Correlation Between Model Invariance and Generalization

Weijian Deng, Stephen Jay Gould외 1명|arXiv (Cornell University)|2022. 07. 14.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 데이터 변환에 걸쳐 예측 일관성과 신뢰도를 측정함으로써 모델의 불변성 정도를 정량화하는 새로운 레이블 없는 지표인 효과적 불변성(EI)을 소개한다. 다양한 모델과 데이터셋, 포함된 데이터 및 포함되지 않은 데이터 설정에서 EI와 일반화 성능 간에 강한 선형 상관관계를 보이며, 이는 레이블이 없는 모델 선택 및 OOD 정확도 예측을 가능하게 한다.

ABSTRACT

Generalization and invariance are two essential properties of any machine learning model. Generalization captures a model's ability to classify unseen data while invariance measures consistency of model predictions on transformations of the data. Existing research suggests a positive relationship: a model generalizing well should be invariant to certain visual factors. Building on this qualitative implication we make two contributions. First, we introduce effective invariance (EI), a simple and reasonable measure of model invariance which does not rely on image labels. Given predictions on a test image and its transformed version, EI measures how well the predictions agree and with what level of confidence. Second, using invariance scores computed by EI, we perform large-scale quantitative correlation studies between generalization and invariance, focusing on rotation and grayscale transformations. From a model-centric view, we observe generalization and invariance of different models exhibit a strong linear relationship, on both in-distribution and out-of-distribution datasets. From a dataset-centric view, we find a certain model's accuracy and invariance linearly correlated on different test sets. Apart from these major findings, other minor but interesting insights are also discussed.

연구 동기 및 목표

• 모델 일반화와 불변성 간의 관계에 대한 체계적이고 정량적인 분석 부족 문제를 해결하기 위해.
• 예측 일관성과 신뢰도를 모두 고려하는 강력한 레이블 없는 불변성 지표를 개발하기 위해.
• 다양한 모델과 데이터셋을 대상으로 불변성(EI를 통한)과 일반화 간의 관계를 규명하기 위한 대규모 실험적 연구를 수행하기 위해.
• 테스트 레이블이 필요 없이 EI를 사용하여 비지도 모델 선택 및 OOD 성능 예측을 가능하게 하기 위해.

제안 방법

• 기본 이미지와 그 변환된 버전에 대한 모델 예측 간의 일치성과 신뢰도를 측정하는 새로운 불변성 지표인 효과적 불변성(EI)을 제안한다.
• 신뢰도 가중 일치 점수를 사용: 높은 일치도와 높은 신뢰도는 높은 EI를, 불일치 또는 낮은 신뢰도는 낮은 EI를 초래한다.
• 150개의 ImageNet 모델과 포함된 데이터 및 포함되지 않은 데이터 벤치마크를 포함한 8개의 테스트 세에서, 회전 및 회색조 변환에 대한 불변성 평가에 EI를 적용한다.
• 모델 중심 및 데이터셋 중심의 상관관계 분석을 수행하여 EI와 테스트 정확도 간의 관계를 연구한다.
• 정확도 감소 및 젠슨-쇼너 엔트로피와 같은 기존 지표와 비교하여, 특히 OOD 조건에서 더 뛰어난 강건성과 레이블 독립성을 입증한다.
• 공개된 모델과 데이터셋을 사용하여, PyTorch 1.11.0 및 timm 1.5를 사용한 3090Ti GPU에서 표준화된 평가 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 다양한 모델과 데이터셋에서 모델 불변성과 일반화 간에 강한 정량적 상관관계가 존재하는가?
• RQ2 효과적 불변성(EI)이 모델 일반화 성능을 신뢰할 수 있고 레이블이 없는 대체 지표로 기능할 수 있는가?
• RQ3 레이블이 제공되지 않는 포함되지 않은 데이터셋에서 EI로 측정된 불변성은 일반화와 어떻게 상관관계가 있는가?
• RQ4 학습 제도(예: 데이터 증강 대비 더 많은 학습 데이터)가 불변성과 일반화에 측정 가능한 영향을 미치는가?
• RQ5 실제 레이블이 없이도 EI를 사용하여 OOD 데이터셋에서의 모델 정확도를 예측할 수 있는가?

주요 결과

• 150개의 모델에서 포함된 데이터 및 포함되지 않은 데이터셋 모두에서 모델 일반화(정확도)와 효과적 불변성(EI) 간에 강한 선형 상관관계가 존재한다.
• ImageNet-Rendition 및 ImageNet-Corruption과 같은 포함되지 않은 데이터셋에서 모델 정확도와 EI 점수는 유의미한 선형 관계를 보이며, 이는 레이블 없이도 OOD 정확도를 예측할 수 있음을 시사한다.
• 특히 OOD 조건에서 기존의 불변성 지표인 정확도 감소 및 젠슨-쇼너 엔트로피보다 EI가 더 뛰어난 신뢰성과 레이블 독립성을 보이며 뛰어난 성능을 발휘한다.
• 더 큰 데이터셋으로 사전학습한 모델는 더 높은 EI와 더 나은 일반화 성능를 보이며, 이는 데이터 스케일이 데이터 증강보다 불변성 향상에 더 효과적임을 시사한다.
• CutMix, MixUp 등의 강력한 데이터 증강 기법을 사용한 학습은 불변성과 일반화를 모두 향상시키지만, 더 많은 데이터로 사전학습하는 것이 더 강력한 성능 향상을 가져온다.
• ResNet, 비전 트랜스포머(BEiT 등) 및 EfficientNet 변종을 포함한 다양한 아키텍처에서 EI와 정확도 간의 상관관계가 유지되어, 광범위한 적용 가능성을 확인한다.