[논문 리뷰] On the Benefits of Invariance in Neural Networks

Clare Lyle, Mark van der Wilk외 3명|arXiv (Cornell University)|2020. 05. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 17

한 줄 요약

이 논문은 신경망에서 불변성을 유도하기 위해 널리 사용되는 데이터 증강과 특성 평균화의 이론적 분석을 수행하며, 특히 볼록 손실 하에서 데이터 증강보다 특성 평균화가 일반화 성능이 더 우수하고, 위험 분산이 낮으며, PAC-Bayes 경계가 더 날카로워진다는 것을 보여준다. 저자들은 특성 평균화가 모델 복잡도를 감소시키고 일반화 보장을 향상시킨다는 것을 증명하며, 몬테카를로 샘플링을 통한 근사화 조건에서도 성립함을 보였다.

ABSTRACT

Many real world data analysis problems exhibit invariant structure, and models that take advantage of this structure have shown impressive empirical performance, particularly in deep learning. While the literature contains a variety of methods to incorporate invariance into models, theoretical understanding is poor and there is no way to assess when one method should be preferred over another. In this work, we analyze the benefits and limitations of two widely used approaches in deep learning in the presence of invariance: data augmentation and feature averaging. We prove that training with data augmentation leads to better estimates of risk and gradients thereof, and we provide a PAC-Bayes generalization bound for models trained with data augmentation. We also show that compared to data augmentation, feature averaging reduces generalization error when used with convex losses, and tightens PAC-Bayes bounds. We provide empirical support of these theoretical results, including a demonstration of why generalization may not improve by training with data augmentation: the `learned invariance' fails outside of the training distribution.

연구 동기 및 목표

• 깊이 학습에서 불변성 하에서 데이터 증강과 특성 평균화의 이론적 이점과 한계를 이해하기 위해.
• 데이터 증강과 특성 평균화의 일반화 성능 및 위험 추정 품질을 비교하기 위해.
• 이러한 불변성 인코딩 방법을 사용해 훈련된 모델에 대해 이론적 보장을(특히 PAC-Bayes 경계) 도출하기 위해.
• 불변성 방법이 훈련 분포 외부로 일반화되지 못할 때와 그 이유를 조사하기 위해.
• 실세계 응용에서 데이터 증강과 특성 평균화 사이에서 선택하는 데 실용적인 지침을 제공하기 위해.

제안 방법

• 회전이나 순열과 같은 변환을 모델링하기 위해 군 작용 G를 사용하여 군 불변성 하에서 위험, 기울기 분산, 일반화 경계의 이론적 분석을 수행하였다.
• 데이터 증강에 대한 PAC-Bayes 일반화 경계를 유도하여, i.i.d. 가정 위반에도 적용 가능함을 보였다.
• 볼록 손실 함수 하에서 특성 평균화가 더 낮은 기대 위험과 분산이 적은 위험 추정기를 제공함을 증명하였다.
• 군 궤도를 통한 평균화를 통해 대칭 모델 클래스를 도입함으로써 모델 엔트로피를 감소시키고 PAC-Bayes 경계를 더욱 날카롭게 하였다.
• 몬테카를로 근사를 사용해 특성 평균화와 데이터 증강을 시뮬레이션하고, 이론적 주장의 실증적 검증을 가능케 하였다.
• 다양한 불변성 기법 하에서 PAC-Bayes 경계를 계산하기 위해 스토하스틱 신경망을 사용해 FashionMNIST와 ModelNet10에서의 실증 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 데이터 증강은 표준 훈련 대비 더 좋은 일반화를 이끌어내는가? 어떤 조건에서인가?
• RQ2 위험 추정 분산과 일반화 오차 측면에서 특성 평균화는 데이터 증강보다 어떻게 비교되는가?
• RQ3 비i.i.d. 데이터이지만 PAC-Bayes 경계는 데이터 증강을 통해 훈련된 모델에 의미 있게 적용될 수 있는가?
• RQ4 불변성이 학습 중에 학습되었더라도, 왜 데이터 증강을 통해 훈련된 모델이 훈련 분포 외부로 일반화되지 못할 수 있는가?
• RQ5 데이터 증강을 통해 훈련된 모델에 대해 추론 시점에 특성 평균화를 적용해도 일반화 성능이 향상되는가?

주요 결과

• 특성 평균화는 특히 볼록 손실 함수 하에서 데이터 증강보다 위험 추정 및 기울기 추정의 분산을 더 효과적으로 감소시킨다.
• 특성 평균화 모델의 기대 위험는 비평균화 모델보다 나쁘지 않으며, 볼록 손실 하에서는 일반적으로 엄밀히 낮다.
• 특성 평균화는 KL 발산 항을 감소시켜 PAC-Bayes 일반화 경계를 날카롭게 하며, 몬테카를로 샘플링을 통한 근사화 조건에서도 성립한다.
• 데이터 증강은 표준 훈련 대비 위험 분산을 감소시키지만, 불변성을 보장하지는 않으며, 학습된 불변성이 훈련 분포 외부에서는 성립하지 않을 경우 일반화에 실패할 수 있다.
• FashionMNIST와 ModelNet10에서의 실증 결과는 불변 아키텍처가 비불변 모델보다 더 날카로운 PAC-Bayes 경계와 더 우수한 일반화 성능을 달성함을 확인하였다.
• 데이터 증강을 통해 훈련된 모델들이라도 추론 시점에 변환에 대한 예측을 평균화함으로써 일반화 성능이 향상됨을 보여주었으며, 이는 추론 시 특성 평균화의 가치를 입증한다.