[논문 리뷰] Deep Sequential Neural Network

Ludovic Denoyer, Patrick Gallinari|arXiv (Cornell University)|2014. 10. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 34

한 줄 요약

이 논문은 각 층에서 다수의 후보 매핑 중에서 순차적 결정 과정을 통해 동적으로 선택하는 새로운 딥 러닝 아키텍처인 딥 순차 신경망(Deep Sequential Neural Networks, DSNNs)을 소개한다. 이는 입력에 따라 적응적인 변환 경로를 제공한다. 기존의 표준 딥 네트워크가 고정된 전역 변환을 적용하는 데 반해, DSNNs는 정책 강화학습을 통해 선택 정책과 네트워크 가중치를 동시에 최적화하며, 부정된 MNIST 및 콤비네이션 체스보드 데이터셋과 같은 복잡한 다중분포 데이터에서 뛰어난 성능을 보여준다.

ABSTRACT

Neural Networks sequentially build high-level features through their successive layers. We propose here a new neural network model where each layer is associated with a set of candidate mappings. When an input is processed, at each layer, one mapping among these candidates is selected according to a sequential decision process. The resulting model is structured according to a DAG like architecture, so that a path from the root to a leaf node defines a sequence of transformations. Instead of considering global transformations, like in classical multilayer networks, this model allows us for learning a set of local transformations. It is thus able to process data with different characteristics through specific sequences of such local transformations, increasing the expression power of this model w.r.t a classical multilayered network. The learning algorithm is inspired from policy gradient techniques coming from the reinforcement learning domain and is used here instead of the classical back-propagation based gradient descent techniques. Experiments on different datasets show the relevance of this approach.

연구 동기 및 목표

• 표준 딥 네트워크에서 고정된 전역 변환의 한계를 해결하기 위해 입력에 의존하는 동적 특징 학습을 가능하게 한다.
• 다양한 특성을 가진 데이터를 처리할 수 있도록, 서로 다른 입력 분포에 대해 별도의 변환 순서를 학습한다.
• 정책 강화학습 기법과 역전파를 결합한 학습 프레임워크를 도입하여 선택 정책와 가중치를 동시에 최적화한다.
• 제안된 모델이 표준 DNN이 학습하지 못하는 복잡한 비선형 결정 경계를 포착할 수 있음을 입증한다.
• 각 층의 후보 매핑 수가 1개로 감소할 경우 DSNN이 표준 DNN과 이론적·실험적으로 동일한지를 탐색한다.

제안 방법

• 각 층이 하나의 표현 공간에서 다른 표현 공간으로의 다수의 후보 매핑(변환)을 포함하는 DAG로 네트워크를 구조화한다.
• 추론 시점에 순차적 결정 과정이 현재 입력 표현에 기반해 각 층에서 하나의 매핑을 선택하며, 루트에서 리프까지의 경로를 형성한다.
• 선택 정책를 정책 강화학습 기법—특히 강화학습 정책 강화의 확장—을 사용해 훈련하고, 표준 역전파를 통해 네트워크 가중치를 업데이트한다.
• 각 층의 선택 함수를 후보 매핑 집합 위에 확률 분포를 출력하는 미분 가능한 정책로 정의한다.
• 통합 목표를 최적화한다: 예측 오차를 최소화하면서 각 입력에 가장 효과적인 매핑 순서를 학습한다.
• 은닉층에 ReLU를 사용하고, 선택 헤드에 대한 정책 강화학습 업데이트를 포함한 확률적 경사 하강법으로 종단 간 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 입력 특성에 따라 다수의 변환 경로 중에서 동적으로 선택함으로써, 복잡한 데이터에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 입력 데이터가 다수의 기저 분포를 따를 경우, DSNN의 성능은 표준 DNN보다 어떻게 다를까?
• RQ3 정책 강화학습 기반의 변환 순서 학습이 비선형 결정 경계를 포착하는 데에 역전파 전용 훈련보다 얼마나 뛰어나게 작용하는가?
• RQ4 후보 매핑 수와 은닉층 크기와 같은 아키텍처 선택이 일반화 능력에 미치는 영향은 어떠한가?
• RQ5 각 층에 후보 매핑이 하나뿐일 경우, 제안된 DSNN 프레임워크는 표준 DNN과 동치인가?

주요 결과

• 원본과 부정된 이미지에서 샘플링되는 두 개의 분포를 가진 MNIST-Negative 데이터셋에서, 은닉층이 없는 표준 DNN은 뿐만 아니라 37.4%의 정확도를 기록하지만, DSNNs는 후보 매핑 수가 2개일 때 최대 88.3%의 정확도를 달성한다.
• 11×11 패턴을 가진 체스보드 데이터셋에서 DSNN-3는 10차원 은닉층을 사용해 69.7%의 정확도를 기록하며, 표준 DNN의 50% 기준선을 크게 상회한다.
• 표준 MNIST 데이터셋에서 DSNNs는 표준 DNN과 유사한 성능을 기록한다(예: DSNN-5는 95.4%, NN은 95.3%의 정확도), 단순한 경우에서의 동치성을 확인한다.
• 후보 매핑 수가 증가할수록(예: 10개의 액션), 더 큰 아키텍처를 가진 DSNNs는 과적합 및 성능 저하를 보이며, 표현력과 일반화 사이의 상충 관계를 시사한다.
• MNIST-Negative에서 25-25 은닉층을 가진 DSNN은 90.4%의 정확도를 기록하며, 더 깊은 DSNNs가 복잡한 데이터 분포를 효과적으로 모델링할 수 있음을 보여준다.
• 모델이 입력에 따라 별도의 변환 경로를 학습할 수 있기에, 표준 DNN이 모델링하지 못하는 복잡한 비선형 결정 경계를 포착할 수 있으며, 이는 체스보드 작업에서 입증되었다.