[논문 리뷰] Curriculum By Smoothing

Samarth Sinha, Animesh Garg외 1명|arXiv (Cornell University)|2020. 03. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 62인용 수 4

한 줄 요약

이 논문은 고르게 증가하는 고주파 정보를 특징 맵에 점진적으로 통합함으로써 CNN 성능을 향상시키는 훈련 방식인 '부드러움에 의한 교육(Curriculum by Smoothing, CBS)'을 제안한다. 이는 훈련 초반에 미학습된 가중치에서 유도되는 노이즈를 줄이고 점차 더 풍부한 세부 정보를 허용함으로써, 파rameter를 추가하지 않고도 이미지 분류, 전이 학습, 객체 검출, 세그멘테이션, VAE 등 다양한 작업에서 정확도와 일반화 성능을 향상시킨다.

ABSTRACT

Convolutional Neural Networks (CNNs) have shown impressive performance in computer vision tasks such as image classification, detection, and segmentation. Moreover, recent work in Generative Adversarial Networks (GANs) has highlighted the importance of learning by progressively increasing the difficulty of a learning task [26]. When learning a network from scratch, the information propagated within the network during the earlier stages of training can contain distortion artifacts due to noise which can be detrimental to training. In this paper, we propose an elegant curriculum based scheme that smoothes the feature embedding of a CNN using anti-aliasing or low-pass filters. We propose to augment the train-ing of CNNs by controlling the amount of high frequency information propagated within the CNNs as training progresses, by convolving the output of a CNN feature map of each layer with a Gaussian kernel. By decreasing the variance of the Gaussian kernel, we gradually increase the amount of high-frequency information available within the network for inference. As the amount of information in the feature maps increases during training, the network is able to progressively learn better representations of the data. Our proposed augmented training scheme significantly improves the performance of CNNs on various vision tasks without either adding additional trainable parameters or an auxiliary regularization objective. The generality of our method is demonstrated through empirical performance gains in CNN architectures across four different tasks: transfer learning, cross-task transfer learning, and generative models.

연구 동기 및 목표

• 미학습된 매개변수로 인해 발생하는 노이즈가 많고 왜곡된 특징 표현 문제를 해결하기 위해.
• 훈련 중 고주파 정보의 흐름을 체계적으로 제어함으로써 딥 네트워크의 표현 학습 성능을 향상시키기 위해.
• 아키텍처 변경 없이도 다양한 비전 작업에서 성능을 향상시키는 일반적인 비매개변수 기반 교육 과정을 개발하기 위해.
• 이 방법이 지도학습, 자기지도학습, 생성학습 환경에서의 일반성과 강건성을 입증하기 위해.

제안 방법

• 훈련 중 각 CNN 레이어의 출력 특징 맵에 가우시안 저통과 필터를 적용하여, 미학습된 가중치에서 유도되는 고주파 노이즈를 억제한다.
• 가우시안 커널의 표준편차(σ)를 시간에 따라 점진적으로 조절함으로써 네트워크를 통과하는 고주파 정보의 양을 점차 증가시킨다.
• 초기 훈련 단계에서 특징 공간의 앨리어싱 아티팩트를 줄이기 위해 가우시안 필터링을 통한 앤티앨리어싱을 수행한다.
• 각 레이어의 순방향 전파에 부드러움 연산을 직접 통합함으로써, 어떤 CNN 아키텍처와도 호환되도록 한다.
• 동일한 훈련 목표와 손실 함수를 유지함으로써, 추가적인 학습 가능한 매개변수나 정규화 항을 도입하지 않는다.
• 모든 레이어에 걸쳐 종단 간(end-to-end)으로 적용하며, 각 합성곱 레이어 이후, 활성화 함수 이전에 필터를 적용한다.

실험 결과

연구 질문

• RQ1 특징 맵의 점진적 부드러움이 CNN 훈련 초반 단계에서 표현 학습을 향상시킬 수 있는가?
• RQ2 조절된 가우시안 필터링을 통해 점차 고주파 정보를 증가시키는 것이 다양한 비전 작업의 최종 성능을 향상시키는가?
• RQ3 이 방법이 매개변수를 추가하지 않고도 전이 학습, 객체 검출, 세그멘테이션, 생성 모델에서 성능 향상을 이룰 수 있는가?
• RQ4 기존의 커리큘럼 학습 접근법과 비교했을 때, 이 방법은 강건성과 일반성 측면에서 어떻게 다른가?

주요 결과

• CBS는 기준 모델 대비 CIFAR-10에서 ResNet-18의 정확도를 10.2%p 향상시켜 80.0%에서 90.2%로 개선했다.
• CIFAR-100에서는 CBS가 기준 모델 대비 19.7%p 향상된 65.4%의 정확도를 달성했다.
• 미사용 데이터셋에서 특징 추출기로 사용했을 때, CBS로 훈련된 ImageNet 모델은 제로샷 및 패트샷 전이 학습 환경에서 표준 훈련보다 뛰어난 성능을 보였다.
• ImageNet 사전 훈련 가중치를 사용할 때 CBS는 객체 검출 및 세그멘테이션 작업에서 성능을 크게 향상시켰다.
• VAE에서는 CIFAR-10과 CelebA 양쪽 모두에서 재구성 품질(NLL이 낮음)과 표현 품질(MI가 높고 활성 단위 수가 많음)이 CBS 적용으로 향상되었다.
• 절단 실험 결과, 입력이 아닌 특징만 부드럽게 하는 것과 σ의 점진적 조절이 필수적임을 확인했으며, 일정한 σ 또는 입력에 대한 부드러움은 성능 저하를 초래했다.