[논문 리뷰] Grounding inductive biases in natural images:invariance stems from variations in data

Diane Bouchacourt, Mark Ibrahim외 1명|arXiv (Cornell University)|2021. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 ImageNet의 데이터 변형이 시각 모델의 인덕티브 바이어스가 어떻게 유도되는지 조사하며, 특히 이동과 체적 변형이 변형에 의한 불변성의 주요 원인임을 보여준다. 아키텍처 설계보다 데이터 증강이 불변성을 주로 이끌어내며, 잔차 연결이 내장된 네트워크의 경우에도 이동만으로도 거의 최대 성능 향상을 달성한다. 학습된 불변성은 실제 ImageNet의 변동 요인과 매우 유사하게 나타나, 데이터 자체가 강건성의 주요 원천임을 시사한다.

ABSTRACT

To perform well on unseen and potentially out-of-distribution samples, it is desirable for machine learning models to have a predictable response with respect to transformations affecting the factors of variation of the input. Here, we study the relative importance of several types of inductive biases towards such predictable behavior: the choice of data, their augmentations, and model architectures. Invariance is commonly achieved through hand-engineered data augmentation, but do standard data augmentations address transformations that explain variations in real data? While prior work has focused on synthetic data, we attempt here to characterize the factors of variation in a real dataset, ImageNet, and study the invariance of both standard residual networks and the recently proposed vision transformer with respect to changes in these factors. We show standard augmentation relies on a precise combination of translation and scale, with translation recapturing most of the performance improvement -- despite the (approximate) translation invariance built in to convolutional architectures, such as residual networks. In fact, we found that scale and translation invariance was similar across residual networks and vision transformer models despite their markedly different architectural inductive biases. We show the training data itself is the main source of invariance, and that data augmentation only further increases the learned invariances. Notably, the invariances learned during training align with the ImageNet factors of variation we found. Finally, we find that the main factors of variation in ImageNet mostly relate to appearance and are specific to each class.

연구 동기 및 목표

• 시각 모델에서 학습된 불변성에 영향을 주는 데이터, 데이터 증강, 모델 아키텍처의 상대적 영향을 이해하기 위해.
• 모델의 강건성에 기여하는 ImageNet 내 자연적인 변동 요인을 특정하기 위해.
• 표준 데이터 증강 기법(예: 무작위 리사이즈 크롭)이 실제 데이터에서 의미 있는 변환과 얼마나 부합하는지 평가하기 위해.
• 모델 아키텍처의 인덕티브 바이어스(예: CNN 대비 ViT) 또는 데이터 증강이 불변성에 미치는 영향 중 어느 것이 더 주요한지 평가하기 위해.
• 학습 과정에서 학습된 불변성이 실제로 ImageNet에 존재하는 변동 요인과 얼마나 일치하는지 조사하기 위해.

제안 방법

• 표준 데이터 증강(무작위 리사이즈 크롭)을 분해하여 이동과 체적 변형 요소를 별도로 분리하여 기여도를 고립시키기 위해.
• 제어된 증강 조건 하에서 ResNet18 및 비전 트랜스포머(ViT) 모델을 ImageNet에서 훈련하여 다양한 변형 조건에서의 성능을 측정하기 위해.
• 자동 대칭 발견을 위한 신경망인 Augerino를 사용하여 데이터에서 관련 변환을 학습하고 일반화에 미치는 영향을 평가하기 위해.
• ImageNet 검증 세트에서 기하학적 및 외관 변형에 대한 모델 반응 일관성으로 불변성을 측정하기 위해.
• 아키텍처(ResNet18 및 ViT) 간 및 데이터 증강 유무에 따라 불변성을 비교하여 강건성의 원인을 고립하기 위해.
• Augerino에서 학습된 변환을 분석하여 성능에 가장 기여하는 요소(이동, 체적 등)를 특정하기 위해.

실험 결과

연구 질문

• RQ1 무작위 리사이즈 크롭과 같은 표준 데이터 증강 기법이 실제 ImageNet 데이터에서 의미 있는 변동 요인과 어느 정도 부합하는가?
• RQ2 모델 아키텍처의 인덕티브 바이어스(예: CNN 대비 ViT)가 불변성에 미치는 영향은 어떠한가? 데이터 변형에 대한 반응에서 차이가 있는가?
• RQ3 데이터 증강이 불변성의 주요 원인인가, 아니면 아키텍처의 바이어스가 더 중요한 역할을 하는가?
• RQ4 학습 과정에서 학습된 불변성이 실제로 ImageNet에 존재하는 변동 요인과 일치하는가?
• RQ5 자동 대칭 발견 기법(예: Augerino)이 실제 데이터셋에서 일반화 성능 향상에 기여하는 관련 변환을 식별할 수 있는가?

주요 결과

• 잔차 연결이 내장된 네트워크는 이미 근사적인 이동 불변성을 지니고 있음에도 불구하고, 표준 무작위 리사이즈 크롭 증강에서 성능 향상의 대부분은 이동 변형에서 기인한다.
• 체적 증강은 이동에 비해 기여도가 미미하며, 체적 증강으로 얻는 성능 향상은 상당히 작다.
• 다른 인덕티브 바이어스를 지닌 ResNet18 및 비전 트랜스포머 모델이 체적 및 이동 불변성 수준에서 유사한 성능을 보이며, 데이터가 주요 요인임을 시사한다.
• 학습 과정에서 학습된 불변성이 실제로 ImageNet에 존재하는 변동 요인과 매우 유사하게 나타나며, 이는 주로 외관 기반이고 클래스별 특성임을 시사한다.
• 자동 변환 발견을 위해 Augerino를 사용한 결과, ImageNet에서는 성공이 제한적이었으며, 추론 시에 기능을 활성화하면 성능이 떨어졌다. 이는 이러한 방법을 실제 데이터에 적용하는 데 어려움이 있음을 시사한다.
• Augerino를 사용한 최고의 성능 모델은 정규화 파라미터 λ=0.6을 사용했지만, 여전히 표준 이동 증강만을 사용한 경우보다 성능이 열 劣하므로, 이동이 가장 중요한 요소임을 시사한다.