[논문 리뷰] The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance

Megha Srivastava, Kalanit Grill‐Spector|arXiv (Cornell University)|2018. 10. 31.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 연구는 딥 네트워크에서 공간 변환 불변성의 원인이 사전 훈련인지, 아니면 고유한 CNN 아키텍처 특성인지를 조사한다. 통제된 얼굴 데이터셋을 사용하여, 다양한 사전 훈련 전략 하에서 일곱 개의 CNN(예: AlexNet, VGG, ResNet)을 비교하고, 위치, 크기, 회전, 블러, 재샘플링 등의 다섯 가지 변환에 대한 내성성을 평가한다. 주요 발견은 대규모이고 다양한 데이터셋에서의 사전 훈련이 불변성을 가능하게 하는 주요 요인이며, ResNet은 회전에 대해, VGG는 척도에 대해 각각 뛰어난 내성성을 보이며, AlexNet은 가장 낮은 내성성을 보인다.

ABSTRACT

As object recognition becomes an increasingly common ML task, and recent research demonstrating CNNs vulnerability to attacks and small image perturbations necessitate fully understanding the foundations of object recognition. We focus on understanding the mechanisms behind how neural networks generalize to spatial transformations of complex objects. While humans excel at discriminating between objects shown at new positions, orientations, and scales, past results demonstrate that this may be limited to familiar objects - humans demonstrate low tolerance of spatial-variances for purposefully constructed novel objects. Because training artificial neural networks from scratch is similar to showing novel objects to humans, we seek to understand the factors influencing the tolerance of CNNs to spatial transformations. We conduct a thorough empirical examination of seven Convolutional Neural Network (CNN) architectures. By training on a controlled face image dataset, we measure model accuracy across different degrees of 5 transformations: position, size, rotation, Gaussian blur, and resolution transformation due to resampling. We also examine how learning strategy affects generalizability by examining how different amounts of pre-training have on model robustness. Overall, we find that the most significant contributor to transformation invariance is pre-training on a large, diverse image dataset. Moreover, while AlexNet tends to be the least robust network, VGG and ResNet architectures demonstrate higher robustness for different transformations. Along with kernel visualizations and qualitative analyses, we examine differences between learning strategy and inherent architectural properties in contributing to invariance of transformations, providing valuable information towards understanding how to achieve greater robustness to transformations in CNNs.

연구 동기 및 목표

• 학습 전략(예: 사전 훈련)과 고유한 아키텍처 특성 간의 기여도가 공간 변환 불변성에 어떻게 기여하는지 이해하기.
• 복잡한 물체인 얼굴의 새로운 공간 변환에 대해 다양한 CNN 아키텍처(AlexNet, VGG, ResNet 등)가 어떻게 일반화되는지 평가하기.
• 대규모이고 다양한 데이터셋에서의 사전 훈련이 위치, 크기, 회전, 해상도 변화와 같은 공간적 변형에 대한 내성성을 확보하는 데 필수적인지 조사하기.
• 사전 훈련된 레이어를 미세조정하는 것과 무작위 초기화에서 훈련하는 것의 영향을 비교하여 모델의 일반화에 미치는 영향을 분석하기.
• 인공 신경망의 불변성과 새로운, 낯선 물체에 대한 인간 시각 시스템 성능 간의 유사성을 도출하기.

제안 방법

• 고정된 공간적 변형을 가진 제어된 얼굴 이미지 데이터셋에서 일곱 개의 기존 CNN 아키텍처(AlexNet, VGG, ResNet, SqueezeNet 등)를 훈련시었다.
• 전이 학습을 활용하여 세 가지 학습 전략을 구현했다: 사전 훈련된 ImageNet 가중치를 미세조정하고, 사전 훈련된 레이어를 동결하며, 무작위 초기화에서 훈련을 시작했다.
• 이동, 척도 조정, 회전, 가우시안 블러, 재샘플링에 의한 해상도 손실 등 다섯 가지 공간 변환에 대해 모델 정확도를 평가했다.
• 커널 시각화와 정성적 분석을 통해 다양한 학습 전략과 아키텍처 간의 특징 학습 차이를 분석했다.
• 사전 훈련과 아키텍처의 영향을 분리하기 위해 동일한 훈련 조건에서 모델을 비교하는 분석 연구를 수행했다.
• 모든 아키텍처와 훈련 방식에서 손실과 정확도를 에포크 수에 따라 수집하고 분석하여 검증 및 비교를 수행했다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 데이터셋에서의 사전 훈련이 아키텍처 설계에 비해 CNN의 변환 불변성에 얼마나 기여하는가?
• RQ2 다른 CNN 아키텍처(예: ResNet 대비 AlexNet)는 새로운 공간 변환에 대해 내재된 일반화 능력에서 어떻게 다를까?
• RQ3 사전 훈련된 레이어를 미세조정하는 것이 무작위 초기화에서 훈련하는 것보다 공간 변환에 대한 내성성을 더 향상시키는가?
• RQ4 사전 훈련된 레이어를 동결하는 것과 미세조정하는 것 간에 첫 번째 레이어 필터는 어떻게 다를지, 이는 특징 학습에 어떤 의미를 갖는가?
• RQ5 사전 훈련 없이도 여러 공간적 변형(예: 두 개의 위치/크기)을 훈련 중에 노출시키면 불변성이 향상되는가?

주요 결과

• ImageNet과 같은 대규모이고 다양한 데이터셋에서의 사전 훈련은 CNN의 변환 불변성을 가능하게 하는 가장 중요한 요인이며, 무작위 초기화에서 훈련하는 것보다 뚜렷이 뛰어난 성능을 보인다.
• ResNet 아키텍처는 회전 및 척도 변화에 대해 뛰어난 내성성을 보이며, 이러한 변환 하에서 다른 모델보다 뛰어난 성능을 보인다.
• VGG 네트워크는 사전 훈련된 경우 특히 척도 및 해상도 변화에 대해 더 높은 불변성을 보이며, 척도와 블러 처리에 있어 아키텍처 특화된 강점을 보인다.
• AlexNet은 사전 훈련이 있더라도 회전 및 해상도 변화에 대해 가장 낮은 내성성을 보이며, 대부분의 변환에서 가장 취약한 아키텍처이다.
• 사전 훈련된 레이어를 동결하면 미세조정한 경우보다 더 적응적인 첫 번째 레이어 필터를 얻지 못하며, 이는 지속적인 학습이 강력한 특징 추출에 필수적임을 시사한다.
• 무작위 초기화에서 훈련하는 경우조차도 여러 공간적 변형을 노출시키더라도 낮은 내성성을 보이며, 이는 다양한 공간적 구성 노출만으로는 사전 훈련이 없이 불변성을 확보하기에 부족하다는 것을 의미한다.