[논문 리뷰] The Lie Derivative for Measuring Learned Equivariance

Nate Gruver, Marc Finzi외 2명|arXiv (Cornell University)|2022. 10. 06.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 매끄러운 변환 하에서 딥 러닝 모델의 등변성(equivariance)을 측정하기 위한 연속적이고 수학적으로 타당한 지표로 리 대수(Leibniz derivative)를 도입한다. 이 방법을 통해 저자들은 수백 개의 모델을 분석하여, 아키텍처에 대한 유도 편향이 없는 바이저널 트랜스포머와 같은 더 크고 정확도가 높은 모델이 CNN보다 더 강한 등변성을 보임을 발견하였으며, 이는 시점 앨리어싱(ali either)으로 인한 공간적 이질성으로 인해 점별 비선형성(pointwise nonlinearities)이 등변성 위반의 주요 원인임을 규명하였다.

ABSTRACT

Equivariance guarantees that a model's predictions capture key symmetries in data. When an image is translated or rotated, an equivariant model's representation of that image will translate or rotate accordingly. The success of convolutional neural networks has historically been tied to translation equivariance directly encoded in their architecture. The rising success of vision transformers, which have no explicit architectural bias towards equivariance, challenges this narrative and suggests that augmentations and training data might also play a significant role in their performance. In order to better understand the role of equivariance in recent vision models, we introduce the Lie derivative, a method for measuring equivariance with strong mathematical foundations and minimal hyperparameters. Using the Lie derivative, we study the equivariance properties of hundreds of pretrained models, spanning CNNs, transformers, and Mixer architectures. The scale of our analysis allows us to separate the impact of architecture from other factors like model size or training method. Surprisingly, we find that many violations of equivariance can be linked to spatial aliasing in ubiquitous network layers, such as pointwise non-linearities, and that as models get larger and more accurate they tend to display more equivariance, regardless of architecture. For example, transformers can be more equivariant than convolutional neural networks after training.

연구 동기 및 목표

• 이산적 변환 지표의 한계를 피하면서도 연속적이고 미분 가능한 지표를 개발하여 딥 네트워크 내 등변성을 측정하는 데 목적이 있다.
• 특히 비컨volution 모델인 비전 트랜스포머와 같은 모델에서 아키텍처, 모델 크기, 훈련 방식이 등변성 달성에 미치는 영향을 이해하는 데 목적이 있다.
• 특히 시점 앨리어싱으로 인한 등변성 위반의 주요 원인이 되는 계층 및 구성 요소(예: 점별 비선형성)를 특정하는 데 목적이 있다.
• 유도 편향이 없는 상황에서 일반화 성능과 등변성 간의 상관관계가 존재하는지 평가하는 데 목적이 있다.
• 표준 데이터 증강과 모델 용량이 유도 편향이 없는 환경에서도 등변성을 암묵적으로 학습하는지 평가하는 데 목적이 있다.

제안 방법

• 연속적 군 작용(예: 이동, 회전, 스케일링) 하에서 함수가 등변성에서 얼마나 벗어나는지를 수량화하기 위해 리 도함수를 사용해 局소 등변성 오차(LEE)를 정의한다.
• 네트워크 출력에 대한 연속적 변환에 따른 방향 도함수로 리 도함수를 계산하고, 입력 크기로 정규화하여 해상도 불변성(_resolution-invariance_)을 확보한다.
• 전체 LEE를 계층별로 분해하여 개별 구성 요소에 등변성 오차를 기여도 기반으로 할당함으로써 아키텍처 단위의 세밀한 분석이 가능하도록 한다.
• 리 대수 내 다수의 랜덤 방향에서 리 도함수의 노름을 효율적으로 계산하기 위해 추적 추정기(trace estimator)를 사용하여 계산 비용을 절감한다.
• CNN, 비전 트랜스포머, MLP 기반 아키텍처(예: ViT, MLP-Mixer)를 포함한 300개 이상의 사전 훈련된 모델로 구성된 대규모 벤치마크에 이 지표를 적용한다.
• 이산 일致성 및 군-샘플 등변성 지표와 비교하여 리 도함수의 민감도 및 해상도 불변성 측면에서의 우수성을 검증한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머와 MLP 기반 모델은 아키텍처적 유도 편향이 없음에도 불구하고 CNN과 비교해 이동 및 회전 등변성을 얼마나 잘 달성하는가?
• RQ2 신경망 내에서 등변성 위반의 주요 원인이 되는 계층 또는 구성 요소는 무엇이며, 이는 시점 앨리어싱과 어떻게 관련이 있는가?
• RQ3 유도 편향이 없는 조건에서 모델 정확도 향상과 연속적 변환 하에서의 등변성 향상 간 상관관계가 존재하는가?
• RQ4 리 도함수 지표는 이산적 또는 군 기반 등변성 지표와 비교해 민감도 및 해석 가능성 측면에서 어떻게 다른가?
• RQ5 표준 데이터 증강을 통해 훈련된 모델은 등변성을 암묵적으로 학습하는가? 만약 그렇다면, 유도 편향이 명시적으로 내장된 모델과 비교해 어떤가?

주요 결과

• 비전 트랜스포머와 MLP 기반 모델은 아키텍처적으로 이동 등변성에 유도 편향이 없음에도 불구하고, 훈련 후 CNN보다 더 높은 이동 및 회전 등변성을 보인다.
• CNN과 비전 트랜스포머 양쪽에서 흔히 사용되는 점별 비선형성은 주로 이산 샘플링으로 인한 시점 앨리어싱으로 인해 등변성 위반의 주요 원인이다.
• 더 크고 정확도가 높은 모델은 아키텍처에 관계없이 일관되게 더 높은 등변성을 보이며, 이는 모델 용량과 훈련이 대칭성 보존을 암묵적으로 향상시킨다는 것을 시사한다.
• 리 도함수 지표는 더 높은 정확도를 가진 모델이 초원형 회전 및 밝기 변화 하에서도 증가된 등변성을 보임을 드러내며, 표준 데이터 증강을 넘어서 보다 광범위한 대칭성 학습이 이루어지고 있음을 시사한다.
• 리 도함수 지표를 통해 계층별로 등변성 오차를 분해할 수 있으며, 이는 비선형성이 특히 깊은 네트워크에서 등변성 손실에 비례하여 기여도가 높다는 것을暴露한다.
• 리 도함수의 연속적 성격 덕분에 이산 지표가 감지하지 못하는 앨리어징 효과까지도 탐지할 수 있어, 깊은 네트워크에서 미세한 대칭성 위반을 포착하는 데서 그 우수성을 드러낸다.