[논문 리뷰] Learning Implicitly Recurrent CNNs Through Parameter Sharing

Pedro Savarese, Michael Maire|arXiv (Cornell University)|2019. 02. 01.

Advanced Neural Network Applications인용 수 19

한 줄 요약

이 논문은 공유된 파라미터 템플릿의 선형 조합을 통해 컨volutional 신경망(CNNs)이 암묵적으로 순환 구조를 학습할 수 있도록 하는 파라미터 공유 기법을 제안한다. 템플릿 수를 제한함으로써 이 방법은 정확도를 유지하면서도 상당한 파라미터 효율성을 달성하며, 알고리즘 작업에 대해 빠르고 일반화 가능한 학습을 가능하게 한다. 이는 신경 구조 탐색(NAS)에 경쟁 가능한 성능을 보이는 하이브리드 CNN-순환 아키텍처를 제공한다.

ABSTRACT

We introduce a parameter sharing scheme, in which different layers of a convolutional neural network (CNN) are defined by a learned linear combination of parameter tensors from a global bank of templates. Restricting the number of templates yields a flexible hybridization of traditional CNNs and recurrent networks. Compared to traditional CNNs, we demonstrate substantial parameter savings on standard image classification tasks, while maintaining accuracy. Our simple parameter sharing scheme, though defined via soft weights, in practice often yields trained networks with near strict recurrent structure; with negligible side effects, they convert into networks with actual loops. Training these networks thus implicitly involves discovery of suitable recurrent architectures. Though considering only the design aspect of recurrent links, our trained networks achieve accuracy competitive with those built using state-of-the-art neural architecture search (NAS) procedures. Our hybridization of recurrent and convolutional networks may also represent a beneficial architectural bias. Specifically, on synthetic tasks which are algorithmic in nature, our hybrid networks both train faster and extrapolate better to test examples outside the span of the training set.

연구 동기 및 목표

• 암묵적인 순환 단위 없이도 CNN이 암묵적으로 순환 아키텍처를 학습할 수 있도록 하는 파라미터 공유 메커니즘을 설계하는 것.
• 기본 이미지 벤치마크에서 분류 정확도를 유지하거나 향상시키면서 모델 파라미터를 줄이는 것.
• 파라미터 공유를 통한 암묵적 순환성이 알고리즘 작업, 특히 분포 외 테스트 예측에 대해 더 나은 일반화 성능과 더 빠른 학습을 이끌 수 있는지 탐색하는 것.
• 이 하이브리드 아키텍처가 최신 신경 구조 탐색(NAS) 방법들과 비교해 유사한 성능을 달성할 수 있는지 평가하는 것.

제안 방법

• 이 방법은 CNN의 다양한 레이어를 전역 공유 템플릿 뱅크에서 추출한 파라미터 텐서의 학습된 선형 조합으로 정의한다.
• 템플릿 수를 제한함으로써 파라미터 공유를 강제하여 기존 CNN과 순환 네트워크 사이의 융합된 유연한 하이브리드를 만든다.
• 파라미터 공유는 소프트 웨이트를 통해 구현되며, 이는 학습 중 조합 계수를 기울기로 업데이트할 수 있도록 한다.
• 소프트 웨이트로 정의되더라도, 훈련된 네트워크는 종종 실제 루프를 가진 엄밀한 순환 구조로 수렴하며, 이는 효율적인 추론을 가능하게 한다.
• 이 방법은 명시적인 아키텍처 탐색 없이도 종단 간 학습을 통해 적절한 순환 아키텍처를 암묵적으로 발견한다.

실험 결과

연구 질문

• RQ1 레이어 간 파라미터 공유가 CNN 내에서 암묵적 순환성을 유도하여 효과적인 순환 행동을 이끌 수 있는가?
• RQ2 이러한 암묵적 순환성은 알고리즘 작업에서 더 나은 파라미터 효율성과 일반화 성능을 이끌 수 있는가?
• RQ3 결과로 도출된 하이브리드 아키텍처는 최신 NAS 방법들과 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ4 공유된 템플릿의 수가 모델 성능과 파라미터 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 이미지 분류 작업에서 상당한 파라미터 절감을 달성하면서도 경쟁 가능한 정확도를 유지한다.
• 훈련된 네트워크는 종종 실제 루프를 가진 엄밀한 순환 구조로 수렴하며, 이는 성능 저하 없이 실제 순환 네트워크로 변환할 수 있다.
• 합성 알고리즘 작업에서 하이브리드 네트워크는 표준 CNN보다 빠르게 학습되고 분포 외 테스트 예측에 대해 더 우수한 일반화 성능을 보였다.
• 명시적 아키텍처 탐색을 사용하지 않음에도 불구하고, 이 방법은 최신 신경 구조 탐색(NAS) 절차와 유사한 성능을 달성한다.