[논문 리뷰] Robustness to Augmentations as a Generalization metric

Sumukh Aithal K, Dhruva Kashyap외 1명|arXiv (Cornell University)|2021. 01. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 7

한 줄 요약

이 논문은 딥러닝 모델의 데이터 증강에 대한 내성에 기반한 일반화 성능 측도를 제안하며, 입력의 변형에 강건한 모델일수록 더 잘 일반화된다고 주장한다. 이 방법은 증강된 입력에서의 오분류에 대해 보상함으로써 점수를 계산하며, 약한 증강일수록 더 높은 보상이 적용된다. 이 방법은 '딥러닝에서의 일반화 예측' 경쟁에서 2등을 기록하였으며, CIFAR-10 및 SVHN 데이터셋에서 강력한 예측 성능을 입증하였다.

ABSTRACT

Generalization is the ability of a model to predict on unseen domains and is a fundamental task in machine learning. Several generalization bounds, both theoretical and empirical have been proposed but they do not provide tight bounds .In this work, we propose a simple yet effective method to predict the generalization performance of a model by using the concept that models that are robust to augmentations are more generalizable than those which are not. We experiment with several augmentations and composition of augmentations to check the generalization capacity of a model. We also provide a detailed motivation behind the proposed method. The proposed generalization metric is calculated based on the change in the output of the model after augmenting the input. The proposed method was the first runner up solution for the NeurIPS competition on Predicting Generalization in Deep Learning.

연구 동기 및 목표

• 기존의 일반화 측도가 성능을 과도하게 평가하는 문제를 해결하기 위해.
• 실제 일반화 능력과 강하게 상관관계를 가지는 실용적이고 경험 기반의 일반화 측도를 개발하기 위해.
• 데이터 증강에 대한 내성 여부가 일반화 능력의 신뢰할 수 있는 대체 지표가 될 수 있는지 조사하기 위해.
• 다양한 증강 기법—개별적 및 복합적—이 모델의 일반화 능력을 측정하는 데 미치는 영향을 평가하기 위해.
• 다양한 아키텍처와 학습 방법에 적용 가능한 단순하면서도 효과적인 측도를 제공하기 위해.

제안 방법

• 이 방법은 각 훈련 샘플에 대해 원본 및 증강된 입력에서의 모델 예측을 평가함으로써 일반화 측도 ϕ를 계산한다.
• 각 입력 x에 대해 모델은 y = arg max Pθ(y|x)를 예측하고, 동일한 예측을 증강된 입력 x′에 대해서도 수행한다.
• 예측 클래스가 그대로 유지될 경우, 신뢰도 점수의 차이에 기반한 보상을 누적한다: |max Pθ(y|x) − Pθ(y|x′)|.
• 예측 클래스가 변경될 경우 고정된 보상 λ를 적용하며, 이때 약한 증강(예: 플립)일수록 더 높은 λ 값을 사용하고, 강한 증강(예: 소벨 필터)일수록 더 낮은 값을 사용한다.
• 각 증강 유형에 대해 보상 λ는 경험적으로 조정되며, 플립 + 채도 조합과 같은 복합 증강 기법도 포함된다.
• 최종 측도는 모든 훈련 샘플에 걸쳐 보상의 총합을 계산하며, 더 낮은(더 음수에 가까운) 점수는 일반화 능력이 열 劣한 것을 의미한다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 데이터 증강에 대한 내성 여부가 일반화 능력의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 약한 증강(예: 플립)과 강한 증강(예: 소벨 필터) 간의 증강 기법 유형이 일반화 측도의 예측 성능에 어떤 영향을 미치는가?
• RQ3 여러 증강 기법을 조합함으로써 일반화 성능을 예측하는 데의 능력이 향상되는가?
• RQ4 다양한 증강 기법에 적용된 보상 가중치 λ가 검증되지 않은 데이터에서 측도 성능에 어떤 영향을 미치는가?
• RQ5 이 측도가 실질적으로 기존의 복잡도 기반 일반화 경계를 능가할 수 있는가?

주요 결과

• 제안된 측도는 경쟁 대회 랭킹에서 공개 점수 41.8, 비공개 점수 10.6을 기록하여 2위를 차지하였다.
• 특히 플립 + 채도 조합(λ = 12)이 가장 높은 성능을 보였으며, 이는 상호 보완적 효과가 있음을 시사한다.
• 약한 증강(예: 플립, λ = 6)에 대해 더 높은 보상 값을 적용할 경우 강한 증강(예: 소벨 필터, λ = 3)보다 더 효과적이었으며, 이는 형태 유지 변화에 대한 민감도가 일반화 능력의 지표로 더 유의미하다는 것을 의미한다.
• 가상의 적대적 변형(Virtual Adversarial Perturbations, λv = 3)을 사용할 경우 성능 향상이 있었으며, 이는 국소적 변형에 대한 내성 여부가 강력한 일반화 신호임을 시사한다.
• 컷아웃 증강(λ = 2)은 긍정적인 영향을 보였지만 영향은 중간 정도였으며, 무작위 제거(λ = 0)는 영향이 없었는데, 이는 일반화 능력의 지표로서의 유의미성이 낮을 수 있음을 시사한다.
• CIFAR-10 및 SVHN 데이터셋에서 다양한 모델 아키텍처와 하이퍼파라미터를 사용하여 검증한 결과, 실제 일반화 능력과 강한 상관관계를 보였다.