[논문 리뷰] Towards Learning Affine-Invariant Representations via Data-Efficient CNNs

Xenju Xu, Guanghui Wang외 2명|arXiv (Cornell University)|2019. 08. 31.

Advanced Neural Network Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 딥러닝에서 애핀 불변 표현을 학습하기 위해 다중 척도 maxout CNN과 회전 불변 정규화자를 제안한다. 2차원 컨볼루션 필터가 원형 패턴을 근사하도록 강제화함으로써, 뛰어난 데이터 효율성과 강건성을 달성하여, 교차 인식에서 클래스당 10장의 이미지로도 84.15%의 정확도를 달성하며, 기존 최고 성능(SOTA)보다 29.80% 높은 테스트 정확도를 기록한다.

ABSTRACT

In this paper we propose integrating a priori knowledge into both design and training of convolutional neural networks (CNNs) to learn object representations that are invariant to affine transformations (i.e., translation, scale, rotation). Accordingly we propose a novel multi-scale maxout CNN and train it end-to-end with a novel rotation-invariant regularizer. This regularizer aims to enforce the weights in each 2D spatial filter to approximate circular patterns. In this way, we manage to handle affine transformations in training using convolution, multi-scale maxout, and circular filters. Empirically we demonstrate that such knowledge can significantly improve the data-efficiency as well as generalization and robustness of learned models. For instance, on the Traffic Sign data set and trained with only 10 images per class, our method can achieve 84.15% that outperforms the state-of-the-art by 29.80% in terms of test accuracy.

연구 동기 및 목표

• 유도적 편향을 통해 CNN에서 애핀 불변 표현(이동, 스케일, 회전)을 학습하는 데 도전 과제를 해결한다.
• 네트워크 설계와 훈련에 사전 지식을 통합하여 데이터 효율성, 일반화 능력 및 강건성을 향상시킨다.
• 2차원 컨볼루션 필터가 원형 패턴을 근사하도록 강제하는 새로운 정규화자를 개발한다.
• 심층 학습에 구조적 및 기능적 사전 지식을 통합하면 더 예측 가능하고 해석 가능하며 강건한 모델이 될 수 있음을 입증한다.
• 저데이터 환경에서도, 애핀 변환을 적용한 및 적용하지 않은 벤치마크 데이터셋에서 방법을 평가한다.

제안 방법

• 다양한 공간 척도에서 특징을 캡처하기 위해 maxout 유닛을 사용하는 다중 척도 maxout CNN 아키텍처를 설계한다.
• 2차원 컨볼루션 필터의 원형 대칭성에서의 이탈을 방지하는 새로운 회전 불변 정규화자를 도입한다.
• 정규화자를 Tikhonov 유형의 페널티로 공식화하여, 필터 가중치가 반경 기반 함수 또는 원형 패턴과 일치하도록 유도한다.
• 제안된 정규화자를 사용하여 표준 backpropagation를 통해 네트워크를 엔드 투 엔드로 훈련함으로써 최적화 과정에서 회전 불변성을 강제한다.
• 채널별 프루닝을 사용하여 모델 복잡도를 제어하고, 파라미터 수, 정확도, 추론 속도 간의 트레이드오���을 분석한다.
• 다중 척도 컨볼루션과 maxout을 활용하여 스케일 불변성을 향상시키며, 정규화자는 특별히 회전 불변성을 목표로 한다.

실험 결과

연구 질문

• RQ1 회전 대칭성에 대한 사전 지식를 효과적으로 CNN에 통합하여 애핀 변환에 대한 불변성을 향상시킬 수 있는가?
• RQ2 원형 필터 패턴을 유도하는 회전 불변 정규화자가 모델의 일반화 능력과 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 제한된 데이터로 훈련되었을 때, 이러한 방법이 기존 최고 성능 방법을 얼마나 뛰어넘을 수 있는가?
• RQ4 모델 성능은 파라미터 수에 따라 어떻게 변화하며, 제안된 정규화자의 계산 비용은 어떠한가?
• RQ5 구조적 사전 지식(다중 척도 maxout, 원형 필터)을 통합하면 더 해석 가능하고 강건한 심층 학습 모델을 얻을 수 있는가?

주요 결과

• 클래스당 10장의 이미지로만 훈련된 Traffic Sign 데이터셋에서 제안된 방법은 84.15%의 테스트 정확도를 달성하여, 기존 최고 성능(SOTA)보다 29.80% 높은 성능을 기록했다.
• affNIST에서, 회전 불변 정규화자는 평균 1.52%의 정확도 향상을 이끌었으며, 정규화 손실 값이 2.94×10⁻⁷로 나타나, 필터 패턴이 원형 대칭에 매우 잘 부합함을 시사한다.
• CIFAR-100에서 클래스당 100장의 훈련 이미지를 사용했을 때, 방법은 52.67%의 테스트 정확도를 기록했으며, ResNet-32(약 10% 높은 정확도)와 비교해도 유의미하게 높고, TI-Pooling(31.77%)보다도 뛰어나다.
• 모델은 파라미터 수가 감소한 경우에도 강력한 성능 유지를 보였으며, [32,64,64,64,64] 구성에서 약 200K 파라미터로 최적에 가까운 정확도를 달성했다.
• 훈련 및 추론 시간은 파라미터 수에 따라 지수적으로 증가하지만, 파라미터 효율성이 높아도 Harmonics와 유사하고, STN와 비교해도 추론 속도에서 유사한 성능을 기록했다.
• 완전한 훈련 데이터로 CIFAR-100에서의 정확도는 78.33%를 기록했으며, ResNet-32(76.7%)와 GoogleNet(78.03%)를 뛰어넘었고, 불변성에 특화된 다른 방법들(예: TI-Pooling 31.77%)에 비해 유의미하게 높았다.