[논문 리뷰] TI-POOLING: transformation-invariant pooling for feature learning in Convolutional Neural Networks

Dmitry Laptev, Nikolay Savinov외 2명|arXiv (Cornell University)|2016. 04. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 변환 불변 풀링 연산자인 TI-pooling을 제안하며, 복수의 변환된 입력 이미지 버전에서의 반응을 병렬 시아모이스 브랜치를 통해 최대 풀링 연산으로 집계함으로써 특징 학습을 향상시킨다. 이 방법은 데이터 증강의 부작용과 비효율성을 피하기 위해 단일 최적의 '기준' 표현을 학습함으로써, 더 적은 파라미터와 더 빠른 수렴 속도로 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we present a deep neural network topology that incorporates a simple to implement transformation invariant pooling operator (TI-POOLING). This operator is able to efficiently handle prior knowledge on nuisance variations in the data, such as rotation or scale changes. Most current methods usually make use of dataset augmentation to address this issue, but this requires larger number of model parameters and more training data, and results in significantly increased training time and larger chance of under- or overfitting. The main reason for these drawbacks is that the learned model needs to capture adequate features for all the possible transformations of the input. On the other hand, we formulate features in convolutional neural networks to be transformation-invariant. We achieve that using parallel siamese architectures for the considered transformation set and applying the TI-POOLING operator on their outputs before the fully-connected layers. We show that this topology internally finds the most optimal "canonical" instance of the input image for training and therefore limits the redundancy in learned features. This more efficient use of training data results in better performance on popular benchmark datasets with smaller number of parameters when comparing to standard convolutional neural networks with dataset augmentation and to other baselines.

연구 동기 및 목표

• 딥 러닝에서 회전, 체적 등 부수적인 변형을 다룰 때 데이터 증강의 비효율성과 부족한 중복 문제를 해결하기 위해.
• 데이터 변환(예: 회전, 체적)에 대한 전문 지식을 네트워크 아키텍처에 직접 통합하기 위해.
• 모델 복잡도를 증가시키지 않으면서도 각 변환에 대해 별도의 학습 없이도 변환 불변 특징을 생성하는 풀링 메커니즘을 개발하기 위해.
• 모든 변환에 대해 동일한 최적의 '기준' 입력 인스턴스에서 학습함으로써 일반화 능력과 학습 효율성을 향상시키기 위해.

제안 방법

• 기본 입력과 그 변환된 형태(예: 회전, 체적)를 처리하기 위해 공유 가중치를 가진 병렬 시아모이스 네트워크를 사용한다.
• TI-pooling 연산자는 각 특징 맵 위치에서 모든 변환된 입력 간의 최대 활성값을 계산하여 변환 불변 특징을 생성한다.
• 풀링 연산은 최종 특징 표현이 입력의 특정 변환에 의존하지 않도록 보장하여 알려진 부수적 인자에 대한 불변성을 확보한다.
• 이 아키텍처는 백프로파게이션을 통해 전체 네트워크, 즉 공유 합성곱 계층과 TI-pooling 연산을 종합적으로 끝내기까지 훈련할 수 있도록 한다.
• 학습 과정에서 가장 대표적인 '기준' 입력 인스턴스를 암묵적으로 식별함으로써 특징 중복을 줄인다.
• 이 방법은 표준 CNN 아키텍처와 호환되며, 플러그인 레이어로 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의존하지 않고도 회전, 체적 등 알려진 변환에 대해 특징이 불변이 되는 풀링 메커니즘을 설계할 수 있는가?
• RQ2 공유된 변환된 입력 표현에서 학습하는 것이 표준 데이터 증강 대비 특징 학습의 중복을 줄이는가?
• RQ3 표준 CNN에 데이터 증강을 적용한 경우보다 TI-pooling이 더 적은 파라미터와 더 빠른 수렴 속도로 더 높은 성능을 달성할 수 있는가?
• RQ4 다중 인스턴스 학습과 비교했을 때 TI-pooling 메커니즘은 변환 불변 작업에서 성능과 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• 신경 세포 분할 데이터셋에서, 드롭아웃을 사용한 TI-pooling은 픽셀 오류율 7.0%를 기록하여 데이터 증강을 적용한 표준 CNN(8.1%)과 MIL(8.9%)을 모두 앞섰다.
• 동일한 데이터 노출량을 고려할 때(증강 CNN의 384 에포크 대비 TI-pooling의 16 에포크), TI-pooling 모델은 더 적은 파라미터로도 뛰어난 성능을 달성했다.
• 기준 모델 대비 더 빠른 수렴 속도를 보이며, 훈련 데이터의 효율적 사용을 시사했다.
• TI-pooling 연산자는 수직, 수평 엣지 등 각 방향에 대해 별도의 특징 검출기 없이도 변환 불변 특징을 성공적으로 학습했다.
• 이론적 및 실증적 결과는 네트워크가 특징 학습의 중복을 줄이기 위해 가장 대표적인 '기준' 입력 인스턴스에서 학습하고 있음을 확인했다.