[논문 리뷰] What Happened to My Dog in That Network: Unraveling Top-down Generators in Convolutional Neural Networks

Patrick W. Gallagher, Shuai Tang외 1명|arXiv (Cornell University)|2015. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 공간 변환(회전, 스케일링, 이동)을 학습된 특징 흐름으로 모델링하는 컨volutional 네트워크(CNN) 내 상향식 생성자(top-down generators)를 소개한다. 기존 네트워크에 이러한 생성자를 적용함으로써 내부 데이터 증강, 제로샷 변환 추정, 이미지 합성 기능을 가능하게 하여, 추가 학습 후 ImageNet의 상위 1 정확도를 60.15%에서 60.52%로 향상시킨다.

ABSTRACT

Top-down information plays a central role in human perception, but plays relatively little role in many current state-of-the-art deep networks, such as Convolutional Neural Networks (CNNs). This work seeks to explore a path by which top-down information can have a direct impact within current deep networks. We explore this path by learning and using "generators" corresponding to the network internal effects of three types of transformation (each a restriction of a general affine transformation): rotation, scaling, and translation. We demonstrate how these learned generators can be used to transfer top-down information to novel settings, as mediated by the "feature flows" that the transformations (and the associated generators) correspond to inside the network. Specifically, we explore three aspects: 1) using generators as part of a method for synthesizing transformed images --- given a previously unseen image, produce versions of that image corresponding to one or more specified transformations, 2) "zero-shot learning" --- when provided with a feature flow corresponding to the effect of a transformation of unknown amount, leverage learned generators as part of a method by which to perform an accurate categorization of the amount of transformation, even for amounts never observed during training, and 3) (inside-CNN) "data augmentation" --- improve the classification performance of an existing network by using the learned generators to directly provide additional training "inside the CNN".

연구 동기 및 목표

• 인간 인지에서 핵심적인 상향식 정보가 딥러닝 모델, 예를 들어 CNN에 어떻게 통합될 수 있는지 탐구하기.
• 컨volutional 레이어 내 특징 공간에서 공간 변환(회전, 스케일링, 이동)을 모델링하는 생성자를 학습하고 적용하는 방법 개발하기.
• 학습 중에 볼 수 없었던 변환 양을 제로샷으로 분류할 수 있도록 학습된 생성자를 활용하기.
• 생성자를 사용하여 변환된 특징을 합성함으로써 CNN의 일반화 능력을 향상시키기 위한 내부 데이터 증강 구현하기.

제안 방법

• 각 컨볼루션 레이어에서 아핀 변환(회전, 스케일링, 이동)을 나타내는 격자 기반 벡터장으로 생성자를 모델링한다.
• 각 레이어 ℓ에서 변환 Δθ에 대해 생성자는 Gₗ[Δθ]로 표기되며, 초기 특징 Fⱼ,ₗ[θ_init]를 예측된 변환된 특징 Φⱼ,ₗ[θ_init; Δθ]로 매핑한다.
• 역방향 전파 중에 근사 역 왜곡(approximate inverse warps)을 사용하여 기울기 일致성을 확보하며, 이는 구성 요소를 반전시키고 공간적 위치를 뒤바꾸는 방식이다.
• 내부 데이터 증강은 훈련 중에 conv5에서 랜덤 생성자(예: +30° 회전, 1.3배 스케일링)를 특징에 적용하여 입력 데이터를 수정하지 않고도 증강된 예제를 시뮬레이션한다.
• 제로샷 학습은 생성자 흐름을 활용하여 훈련 중에 볼 수 없었던 변환 양을 추론하기 위해 특징 흐름을 학습된 생성자 반응과 매칭한다.
• 이미지 합성은 새로운 입력 이미지에 대해 학습된 생성자를 적용하여 특징 수준의 조작을 통해 변환된 버전을 생성함으로써 달성된다.

실험 결과

연구 질문

• RQ1 학습된 생성자를 통해 모델링한 상향식 정보가 표준 벤치마크에서 CNN 성능을 향상시킬 수 있는가?
• RQ2 생성자가 훈련 중에 볼 수 없었던 변환 양을 정확하게 추정하는 데 기여할 수 있는가?
• RQ3 생성자를 사용한 내부 데이터 증강이 외부 데이터 증강 없이도 CNN의 일반화 능력을 향상시킬 수 있는가?
• RQ4 학습된 생성자가 새로운 입력에서 변환된 이미지를 얼마나 잘 합성할 수 있는가?

주요 결과

• 제안된 내부 데이터 증강 방법은 AlexNet의 ImageNet 검증 상위 1 정확도를 추가 5 에포크 학습 후 60.15%에서 60.52%로 향상시켰다.
• 이 방법은 상위 5 정확도 84.35%를 달성하여 생성자 기반 특징 수준의 증강이 측정 가능한 성능 향상을 이끌어냈다.
• 제로샷 변환 추정은 가능했으며, 모델은 훈련 분포 외의 값(예: 회전 각도)에 대해서도 정확하게 추론할 수 있었다.
• 생성자를 통한 이미지 합성은 초기 특징에 학습된 특징 흐름을 적용하여 새로운 이미지의 자연스러운 변환된 버전을 성공적으로 생성했다.
• 근사 역 왜곡 방법은 안정적인 역전파를 가능하게 했으며, 격자 정렬 불일치에도 불구하고 기울기 일치성에 대한 실증적 검증 결과 양호함을 보였다.
• 이 방법은 학습된 생성자를 통한 상향식 정보가 기존 CNN에 효과적으로 통합되어 강건성과 일반화 능력을 향상시킬 수 있음을 입증했다.