[논문 리뷰] Studying Invariances of Trained Convolutional Neural Networks

Charlotte Bunne, Lukas Rahmann외 1명|arXiv (Cornell University)|2018. 03. 15.

Advanced Neural Network Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 AlexNet과 ResNet과 같은 훈련된 CNN에 대해 애핀 변환에 대해 불변인 가중치를 학습 가능한 모듈로 식별하는 Invariant Transformer Net을 제안한다. 애핀 및 비애핀 변환에 대한 대규모 스크리닝을 통해 분류 정확도가 떨어지기 시작하는 클래스 및 변환 유형별 임계값을 규명하였으며, 이는 불변성이 중간 정도의 변환 크기 범위에 국한됨을 보여준다.

ABSTRACT

Convolutional Neural Networks (CNNs) define an exceptionally powerful class of models for image classification, but the theoretical background and the understanding of how invariances to certain transformations are learned is limited. In a large scale screening with images modified by different affine and nonaffine transformations of varying magnitude, we analyzed the behavior of the CNN architectures AlexNet and ResNet. If the magnitude of different transformations does not exceed a class- and transformation dependent threshold, both architectures show invariant behavior. In this work we furthermore introduce a new learnable module, the Invariant Transformer Net, which enables us to learn differentiable parameters for a set of affine transformations. This allows us to extract the space of transformations to which the CNN is invariant and its class prediction robust.

연구 동기 및 목표

• 다양한 변환에 대해 훈련된 CNN, 예를 들어 AlexNet과 ResNet의 불변성 특성을 체계적으로 분석하는 것.
• 정확한 분류를 유지할 수 있는 애핀 및 비애핀 변환의 최대 크기를 규명하여 변환 유형에 따라 특화된 강건성 임계값을 도출하는 것.
• CNN이 불변성을 유지하는 변환 공간을 탐색할 수 있는 학습 가능한, 미분 가능한 모듈인 Invariant Transformer Net을 개발하는 것.
• 다양한 아키텍처 간 불변성 행동을 비교하여 네트워크의 깊이와 구조와 불변성 간의 상관관계를 이해하는 것.
• 훈련된 CNN의 불변성 공간을 제어적이고 매개변수화된 방식으로 탐색하고 추출할 수 있는 방법을 제공하는 것.

제안 방법

• Invariant Transformer Net은 학습 가능한 가중치 $k_1$ (공간적)와 $k_2$ (색상)로 매개변수화된 애핀 변환을 적용하는 미분 가능한 모듈로, CNN과 함께 엔드 투 엔드 학습이 가능하도록 설계되었다.
• 이 네트워크는 ImageNet 검증 이미지를 사용하여 훈련되며, CNN의 $ abla_{ heta} ext{Loss}_{ ext{orig}}$ 와 변환기의 $ abla_{k_1,k_2} ext{Loss}_{ ext{transform}}$ 를 조합한 손실를 최소화함으로써 변환 하에 분류 정확도를 유지하는 것을 목표로 한다.
• 대규모 스크리닝을 통해 번역, 회전, 노이즈, 줌 등의 증가하는 변환 크기가 AlexNet과 ResNet의 소프트맥스 출력에 미치는 영향을 평가한다.
• 각 이미지 클래스에 대해 증가하는 변환 매개변수에 따라 평균 소프트맥스 확률을 추적하여 예측 신뢰도가 떨어지는 지점, 즉 정확도 저하의 기준점을 탐지한다.
• 사전 훈련된 모델(예: AlexNet 및 ResNet-101)을 사용하며, 입력 이미지에 고정밀 노이즈, 회전, 줌, 번역 등의 변환을 적용한다.
• Invariant Transformer Net은 높은 분류 정확도를 유지하는 변환을 학습함으로써 각 클래스에 대해 최대 불변성 공간을 효과적으로 학습한다.

실험 결과

연구 질문

• RQ1 AlexNet과 ResNet이 불변성을 유지하는 애핀 및 비애핀 변환의 최대 크기는 얼마인가?
• RQ2 회전, 노이즈, 줌 등의 다양한 변환 유형이 이미지 클래스 간 분류 강건성에 어떻게 영향을 미치는가?
• RQ3 학습 가능한, 미분 가능한 모듈인 Invariant Transformer Net이 CNN이 불변성을 유지하는 변환 공간을 탐색할 수 있는가?
• RQ4 불변성 임계값은 다양한 이미지 클래스와 변환 유형에 따라 어떻게 달라지는가?
• RQ5 더 깊은 네트워크인 ResNet은 AlexNet과 같은 얕은 네트워크와 유사한 불변성을 얼마나 잘 학습하는가?

주요 결과

• AlexNet과 ResNet은 애핀 및 비애핀 변환에 대해 불변성을 보이지만, 이는 클래스 및 변환 유형에 따라 정해진 임계값 이하에서만 성립한다.
• 회전에 대해서는 약 180°를 초과하면 불변성이 붕괴되며, 고각도에서 분류 정확도가著 떨어진다.
• Invariant Transformer Net은 낮은 정보 손실을 유발하는 변환, 예를 들어 경미한 줌 아웃 및 작은 색상 이동을 효과적으로 학습하지만, 극단적인 회전이나 줌 인과 같은 고크기 왜곡은 피한다.
• 색상 변화에 매우 민감한 것으로 나타나, 색상 왜곡의 크기가 작을 때만 학습이 가능하며, 이는 색상 편향에 대한 내재된 취약성을 시사한다.
• 두 네트워크의 학습된 불변성 공간은 아키텍처 간 일관성이 있으며, 유사한 변환에 대해 ResNet이 AlexNet과 유사한 불변성 임계값을 보인다.
• 대규모 스크리닝 결과, 가우시안 노이즈나 대trast 조정과 같은 비애핀 변환이 특히 중간 수준 이상의 노이즈에서 신뢰도를 크게 감소시켜 강건성이 제한됨을 시사한다.