[논문 리뷰] Translation Insensitive CNNs

Ganesh Sundaramoorthi, Timothy E. Wang|arXiv (Cornell University)|2019. 11. 25.

Advanced Neural Network Applications참고 문헌 23인용 수 8

한 줄 요약

이 논문은 보간 필터를 표현하는 데 고유한 가우시안-에르미트 기저 함수를 사용하는 CNN 아키텍처인 GaussNets를 제안한다. 이는 최소한의 하향 샘플링 없이도 이동 불변성을 달성한다. 픽셀 값 대신 기저 계수를 학습함으로써, 작은 커널 파rameter와 큰 수신장(field)을 유지하면서도, 더 약한 형태의 불변성인 이동 민감도 없음(translation insensitivity)을 통해 하향 샘플링을 가능하게 하여, 소규모 이동에 대해 강건한 분류 성능을 달성한다. 계산 비용은 다소 증가하지만, 이는 여전히 타당한 수준이다.

ABSTRACT

We address the problem that state-of-the-art Convolution Neural Networks (CNN) classifiers are not invariant to small shifts. The problem can be solved by the removal of sub-sampling operations such as stride and max pooling, but at a cost of severely degraded training and test efficiency. We present a novel usage of Gaussian-Hermite basis to efficiently approximate arbitrary filters within the CNN framework to obtain translation invariance. This is shown to be invariant to small shifts, and preserves the efficiency of training. Further, to improve efficiency in memory usage as well as computational speed, we show that it is still possible to sub-sample with this approach and retain a weaker form of invariance that we call \emph{translation insensitivity}, which leads to stability with respect to shifts. We prove these claims analytically and empirically. Our analytic methods further provide a framework for understanding any architecture in terms of translation insensitivity, and provide guiding principles for design.

연구 동기 및 목표

• 현대 CNN에서 하향 샘플링 연산(예: 맥스 풀링 및 스트라이드 컨볼루션)으로 인해 발생하는 이동 불변성 부족 문제를 해결하기 위해.
• 하향 샘플링을 유지하면서도 큰 수신장과 학습 효율성을 확보하면서 소규모 이미지 이동에 대한 불변성을 달성하기 위해.
• 소규모 이동에 대한 강건성을 손상시키지 않고 하향 샘플링을 가능하게 하는 방법을 개발하고, '이동 민감도 없음(translation insensitivity)'이라는 개념을 도입하기 위해.
• 모든 CNN 아키텍처에서 이동 민감도를 이해하고 평가할 수 있는 분석적 프레임워크를 제공하기 위해.

제안 방법

• 컨볼루션 필터를 정규직교 가우시안-에르미트 기저 함수의 선형 조합으로 표현하며, 원시 픽셀 값 대신 학습 과정에서 계수를 학습한다.
• 가우시안-에르미트 기저의 부드러움을 활용하여, 하향 샘플링 없이도 정확한 이동 불변성을 달성한다. 이는 이동 시 에너지가 유지되기 때문이다.
• 하향 샘플링을 적용한 후 가우시안-에르미트 필터링을 수행함으로써, 더 약한 형태의 불변성인 '이동 민감도 없음'을 유지하는 하향 샘플드 GaussNets를 도입한다.
• 가우시안-에르미트 표현이 이동 불변성을 유도하며, 하향 샘플링이 이동 민감도 없음을 유지하는 조건을 분석적으로 증명하고 유도한다.
• 학습 및 평가 과정에서 소규모 이미지 이동에 대한 모델 강건성을 측정하기 위해 감도 지표 Δ₁ 및 Δ₂를 사용한다.
• 기존의 1×1 컨볼루션과 동일하게 유지되며, ResNet 아키텍처의 표준 컨볼루션 레이어를 GaussNet 레이어로 대체한다.

실험 결과

연구 질문

• RQ1 하향 샘플링 없이도 전체 이동 불변성을 달성하면서도 학습 효율성과 파라미터 효율성을 유지할 수 있는 CNN 아키텍처가 존재하는가?
• RQ2 GaussNet 아키텍처에서 하향 샘플링이 소규모 이동에 대해 의미 있는 형태의 불변성을 유지하는가? 만약 그렇다면, 그 성질은 무엇인가?
• RQ3 가우시안-에르미트 기저의 폭(σ)을 선택할 때, 모델의 소규모 이미지 이동에 대한 민감도에 어떤 영향을 미치는가?
• RQ4 제안된 GaussNet 아키텍처는 표준 CNN(예: ResNet)과 비교해 테스트 정확도를 동등하거나 초월할 수 있는가? 더불어 소규모 이동에 대해 더 강건한가?
• RQ5 가우시안-에르미트 분해를 기반으로 한 분석 프레임워크는 CNN에서 이동 민감도를 체계적으로 분석하는 데 얼마나 기여하는가?

주요 결과

• GaussNets는 가우시안-에르미트 기저 함수를 통한 필터 표현을 통해 이동 불변성을 완전히 달성하며, 하향 샘플링이 필요 없어지면서도 레이어 간 커널 파라미터 수가 일정하게 유지된다.
• 하향 샘플드 GaussNets는 '이동 민감도 없음'을 나타내며, 이는 더 약하지만 실용적인 형태의 불변성이다. 이로 인해 표준 CNN보다 소규모 이미지 이동에 대한 분류 민감도가 크게 감소한다.
• CIFAR-10에서 GaussNet-50는 σ = 0.763일 때 Δ₁ = 0.035, Δ₂ = 0.042를 기록하며, ResNet-50(Δ₁ = 0.087, Δ₂ = 0.103)를 능가하는 강건성을 입증한다.
• 추론 시간이 더 길어지긴 하지만(ResNet-50 대비 7.34배 느림), GaussNet-50는 경쟁 가능한 테스트 정확도를 유지하며, CIFAR-10에서 테스트 오차는 약 20%로 ResNet-18 및 ResNet-50와 유사하다.
• 민감도는 최적의 σ ≈ 0.763에서 최소화되며, 너무 작거나 너무 큰 값은 민감도를 증가시킨다. 이는 σ가 강건성에 있어 핵심 하이퍼파ram터임을 시사한다.
• GaussNet-50의 추론 시간(25.47초, CIFAR-10 기준)은 ResNet-50(3.47초)보다 7.34배 느리지만, 이는 많은 응용 분야에서 여전이 타당하며, GaussNet 레이어 계산 최적화를 통해 향상될 수 있다.