[논문 리뷰] The Effects of Regularization and Data Augmentation are Class Dependent

Randall Balestriero, Léon Bottou외 1명|arXiv (Cornell University)|2022. 04. 07.

Machine Learning and Data Classification인용 수 39

한 줄 요약

논문은 데이터 증강 및 가중치 감소와 같은 일반적 정규화 방법이 클래스 의존적 편향을 만들어 평균 정확도를 높이는 반면 특정 클래스의 성능에 심각한 손실을 주고 다운스트림 태스크로 편향을 옮긴다.

ABSTRACT

Regularization is a fundamental technique to prevent over-fitting and to improve generalization performances by constraining a model's complexity. Current Deep Networks heavily rely on regularizers such as Data-Augmentation (DA) or weight-decay, and employ structural risk minimization, i.e. cross-validation, to select the optimal regularization hyper-parameters. In this study, we demonstrate that techniques such as DA or weight decay produce a model with a reduced complexity that is unfair across classes. The optimal amount of DA or weight decay found from cross-validation leads to disastrous model performances on some classes e.g. on Imagenet with a resnet50, the "barn spider" classification test accuracy falls from $68\%$ to $46\%$ only by introducing random crop DA during training. Even more surprising, such performance drop also appears when introducing uninformative regularization techniques such as weight decay. Those results demonstrate that our search for ever increasing generalization performance -- averaged over all classes and samples -- has left us with models and regularizers that silently sacrifice performances on some classes. This scenario can become dangerous when deploying a model on downstream tasks e.g. an Imagenet pre-trained resnet50 deployed on INaturalist sees its performances fall from $70\%$ to $30\%$ on class \#8889 when introducing random crop DA during the Imagenet pre-training phase. Those results demonstrate that designing novel regularizers without class-dependent bias remains an open research question.

연구 동기 및 목표

• 정규화가 클래스 간 모델 편향을 어떻게 형성하는지 동기를 부여하고 정량화한다.
• 데이터 증강이 일부 클래스에 대해서는 라벨 보존적일 수 있지만 다른 클래스에는 그렇지 않다는 것을 시演한다.
• 가중치 감소가 데이터 증강과 유사한 클래스 의존적 편향을 유발한다는 것을 보인다.
• 정규화 편향이 다운스트림 전이 학습 작업으로 이동하는지 조사한다.

제안 방법

• 변환이 실제 라벨의 레벨세트를 보존하지 않을 때 데이터 증강이 불가피한 편향을 도입할 수 있는 이론적 직관을 제공한다.
• 여러 아키텍처에 걸쳐 ImageNet에서 다양한 데이터 증강 강도하에 클래스별 성능을 실증적으로 분석한다.
• 다른 DA 정책으로 모델을 학습하고 클래스별 정확도에 대한 통계적 검정을 수행하여 클래스별 편향을 민감도 분석으로 정량화한다.
• 무정보 정규화기인 가중치 감소로 분석을 재현하여 클래스 의존적 편향을 보인다.
• 다양한 DA로 사전 학습하고 대상 데이터셋(INaturalist)에서 클래스별 성능을 평가하여 전이 학습을 조사한다.

실험 결과

연구 질문

• RQ1 데이터 증강이 전반적인 평균 정확도를 높이면서 클래스 의존적 편향을 도입하는가?
• RQ2 관찰된 클래스별 편향이 아키텍처 및 데이터셋에 걸쳐 일관적인가?
• RQ3 가중치 감소가 데이터 증강과 유사한 클래스 의존적 편향을 생성하는가?
• RQ4 사전 학습 중의 정규화가 전이 학습의 다운스트림 작업에 편향을 주는가?
• RQ5 소스 데이터셋에서 타깃 데이터셋으로의 클래스 의존적 편향의 전이가 얼마나 큰가?

주요 결과

• 데이터 증강은 평균 검증 정확도를 높일 수 있지만 일부 클래스의 클래스별 정확도는 감소시킬 수 있다.
• DA로 인한 클래스별 편향은 클래스 의존적이며 아키텍처와 DA 유형(random crop, CutOut, color jitter) 전반에 걸쳐 지속된다.
• 가중치 감소는 무정보(정규화기)일 때조차도 클래스 의존적 편향를 유발한다.
• 정규화로 인한 편향은 전이 학습 시나리오에서 다운스트림 작업으로 이동하여 타깃 클래스 성능에 영향을 준다.
• 소스 데이터셋에서 평균 성능으로 선택된 모델이 타깃 데이터셋의 관심 클래스에 대해 가장 편향될 수 있다.