[논문 리뷰] In What Ways Are Deep Neural Networks Invariant and How Should We Measure This?

Henry Kvinge, Tegan Emerson외 4명|arXiv (Cornell University)|2022. 10. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 군 이론 기반의 메트릭 가족인 G-EED(G-empirical equivariance deviation)를 소개하며, 딥 뉴럴 네트워크에서 불변성과 등변성(-equivariance)을 직접 측정한다. 이는 데이터 증강이 학습된 등변성 레이어 외의 메커니즘을 통해 불변성을 유도하며, 불변성이 항상 모델 성능과 상관되지 않는다는 것을 드러낸다. 사전 훈련된 모델은 무작위 초기화된 모델과는 다른 불변성 특성을 보인다.

ABSTRACT

It is often said that a deep learning model is "invariant" to some specific type of transformation. However, what is meant by this statement strongly depends on the context in which it is made. In this paper we explore the nature of invariance and equivariance of deep learning models with the goal of better understanding the ways in which they actually capture these concepts on a formal level. We introduce a family of invariance and equivariance metrics that allows us to quantify these properties in a way that disentangles them from other metrics such as loss or accuracy. We use our metrics to better understand the two most popular methods used to build invariance into networks: data augmentation and equivariant layers. We draw a range of conclusions about invariance and equivariance in deep learning models, ranging from whether initializing a model with pretrained weights has an effect on a trained model's invariance, to the extent to which invariance learned via training can generalize to out-of-distribution data.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 불변성과 등변성의 직접적이고 공식적인 측정 방법이 부족한 문제를 해결하기 위해, 정확도나 손실을 간접적으로 평가하는 방식 외에 다른 측정법을 제공한다.
• 반사 및 회전과 같은 알려진 대칭군 하에서 딥 뉴럴 네트워크가 불변성과 등변성을 어떻게 달성하는지 공식화하고 정량화한다.
• 일반적으로 사용되는 기법들—데이터 증강과 등변성 아키텍처—가 실제로 실무에서 원하는 불변성과 등변성 특성을 유도하는지 조사한다.
• 모델 초기화 방식(무작위 vs. 사전 훈련된 가중치)과 훈련 철학(지도 학습 vs. 자기 지도 학습)이 학습된 불변성과 등변성에 미치는 영향을 분석한다.
• 학습된 불변성이 분포 외부 데이터에 대해 어떻게 일반화되는지 평가한다. 이는 이미지 손상 및 도메인 이동 데이터를 포함한다.

제안 방법

• 대칭군 G 하에서 모델 출력이 G-등변성 또는 G-불변성에서 벗어나는 정도를 정량화하기 위해 군 이론 원리를 기반으로 한 G-EED 메트릭 가족을 제안한다.
• 유클리드 거리와 코사인 유사도와 같은 거리 측도를 사용하여 최종 모델 출력과 중간 잠재 표현 모두에 G-EED를 적용한다.
• 신경망의 다양한 구성 요소(예: 특징 맵, 최종 예측)에 대해 G-EED를 계산할 수 있는 유연한 프레임워크를 구현한다.
• 데이터 증강, 등변성 레이어, 자기 지도 대비 손실을 사용해 훈련한 모델 간의 불변성 특성을 직접 비교하기 위해 G-EED를 활용한다.
• 통계적 안정성을 확보하기 위해 신뢰구간과 다수의 무작위 시드를 사용하여 다양한 모델 변종 간의 불변성 평가에 활용한다.
• G-EED를 분포 내 및 분포 외 데이터(예: ImageNet 손상, 도메인 이동 이미지)에 적용하여 불변성의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 데이터 증강이 딥 뉴럴 네트워크에서 진정으로 G-등변성 또는 G-불변성을 유도하는 정도는 어느 정도이며, 이는 학습된 등변성 레이어 때문인지, 다른 메커니즘 때문인가?
• RQ2 사전 훈련된 가중치로 초기화된 모델은 무작위 초기화된 모델과 비교해 불변성 및 등변성 특성이 어떻게 다를까?
• RQ3 특히 대비 손실을 사용한 자기 지도 학습은 지도 학습보다 더 강한 불변성을 유도하는가?
• RQ4 훈련을 통해 학습된 불변성이 이미지 손상이나 도메인 이동 이미지와 같은 분포 외부 데이터로 일반화되는 정도는 어떠한가?
• RQ5 모델 정확도나 손실과는 별개로 불변성을 의미 있게 측정할 수 있으며, 높은 불변성이 더 나은 성능과 상관되는가?

주요 결과

• 데이터 증강을 통해 훈련할 경우, 불변성이 주로 학습된 등변성 레이어를 통해 발생하지 않으며, 더 투명하지 않은 다른 메커니즘에 의해 발생한다.
• 데이터 증강을 통해 학습된 불변성은 일반적인 이미지 손상에는 약간의 일반화 능력을 보이지만, 극단적인 분포 외부 이동에서는 허구적일 수 있으며, 이는 진정한 불변성이 아니라 모델의 민감도 부족 때문일 수 있다.
• 학습된 불변성 또는 하드코딩된 불변성과는 반대로, 무작위 가중치를 가진 모델이 더 높은 수학적 불변성을 보일 수 있으며, 이는 불변성이 성능과 상관된다는 가정을 도전한다.
• 사전 훈련된 가중치로 초기화된 모델은 무작위 초기화된 모델과 다른 불변성 및 등변성 특성을 보이며, 불변성 정도는 사용된 거리 측도에 따라 달라진다.
• 대비 손실을 사용해 훈련한 자기 지도 모델(SimCLR 등)은 그렇지 않은 모델(DINO 등)보다 훨씬 높은 불변성을 보이며, 이는 대비 목적이 직접적으로 불변성을 촉진한다는 것을 시사한다.
• 잠재 공간의 G-EED 분석 결과, SimCLR는 테스트된 모델들 중에서 가장 높은 불변성을 달성했으며, DINO와 지도 학습 모델은 거리 측도에 따라 중간 정도의 수준을 보였다.