[논문 리뷰] SNN: Stacked Neural Networks

Milad Mohammadi, Subhasis Das|arXiv (Cornell University)|2016. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 7

한 줄 요약

이 논문은 여러 사전 훈련된 CNNs(VGG, GoogLeNet, Places, NIN 등)의 특징을 스택하여 전이 학습 정확도를 크게 향상시키는 새로운 아키텍처인 스택드 신경망(S-NN)을 제안한다. 단일 사전 훈련된 네트워크를 사용하는 최신 기법보다 최대 8% 높은 정확도를 달성한다. 또한 다중 작업 적응을 가능하게 하면서 일반화 능력을 유지하기 위해 '공동 미세조정(joint fine-tuning)'을 도입한다.

ABSTRACT

It has been proven that transfer learning provides an easy way to achieve state-of-the-art accuracies on several vision tasks by training a simple classifier on top of features obtained from pre-trained neural networks. The goal of this work is to generate better features for transfer learning from multiple publicly available pre-trained neural networks. To this end, we propose a novel architecture called Stacked Neural Networks which leverages the fast training time of transfer learning while simultaneously being much more accurate. We show that using a stacked NN architecture can result in up to 8% improvements in accuracy over state-of-the-art techniques using only one pre-trained network for transfer learning. A second aim of this work is to make network fine- tuning retain the generalizability of the base network to unseen tasks. To this end, we propose a new technique called "joint fine-tuning" that is able to give accuracies comparable to finetuning the same network individually over two datasets. We also show that a jointly finetuned network generalizes better to unseen tasks when compared to a network finetuned over a single task.

연구 동기 및 목표

• 개별 사전 훈련된 네트워크의 특징보다 더 나은, 더 일반화 가능한 특징을 생성하여 전이 학습 정확도를 향상시키는 것.
• 서로 겹치지 않는 여러 사전 훈련된 네트워크의 특징을 조합하면 다양한 시각 작업 전반에서 우수한 성능을 낼 수 있는지 탐구하는 것.
• 특히 다중 작업에 적응할 때 사전 훈련된 네트워크의 일반화 능력을 유지할 수 있는 방법을 개발하는 것.
• 단일 S-NN보다 더 높은 성능을 내기 위해 S-NN의 앙상블 스택이 성능 향상에 기여하는지 평가하는 것.
• 경량 두 네트워크 스택 포함 포함된 스택 아키텍처에서 계산 비용과 정확도 사이의 상충 관계를 조사하는 것.

제안 방법

• VGG16, GoogLeNet, Places, NIN 등의 여러 사전 훈련된 CNNs의 최종 완전 연결층 출력(fc7 또는 pool4)을 연결하여 하나의 특징 벡터로 스택하는 방식.
• 기본 네트워크를 업데이트하지 않고, 스택된 특징에 대해 선형 SVM 분류기로 다양한 시각 데이터셋에서 성능을 평가하는 방식.
• 일반화 능력을 유지하면서 다중 작업 적응을 가능하게 하기 위해, 한 개의 네트워크를 두 개의 서로 다른 데이터셋에서 동시에 미세조정하는 '공동 미세조정'을 도입.
• 특정 데이터셋에서 각 네트워크의 개별 정확도 비례로 특징 벡터를 스케일링하는 가중치를 학습하여 가중치 스택을 적용하는 방식(예: GoogLeNet의 정확도가 최고 성능 네트워크의 50%일 경우 가중치 0.5).
• 여러 개의 독립적으로 훈련된 S-NN 모델의 예측을 평균내어 성능을 향상시키기 위해 앙상블 S-NN을 평가하는 방식.
• 향후 방향으로는 공유 그래디언트 브로드캐스팅을 통한 스택된 네트워크의 병렬 훈련 및 데이터 증강 기법을 적용해 정확도를 추가로 향상시키는 것 탐색.

실험 결과

연구 질문

• RQ1 서로 겹치지 않는 여러 사전 훈련된 CNNs의 특징을 조합하면 단일 네트워크를 사용할 때보다 전이 학습 정확도가 크게 향상되는가?
• RQ2 다양한 시각 데이터셋 전반에 걸쳐 잘 일반화되는 유일한 최적의 사전 훈련된 네트워크 조합이 존재하는가, 아니면 최적의 조합이 데이터셋에 따라 달라지는가?
• RQ3 두 개의 데이터셋에서 단일 네트워크를 동시에 미세조정하면, 한 데이터셋에서 개별적으로 미세조정하는 것과 비교해 일반화 능력이 유지되거나 향상되는가?
• RQ4 개별 네트워크의 정확도에 비례해 특징을 스케일링하는 가중치 스택을 적용하면, 성능이 열 劣한 네트워크의 악영향을 줄일 수 있는가?
• RQ5 병렬 훈련 또는 데이터 증강 기법을 적용하면 스택된 신경망의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• VGG16, GoogLeNet, Places, NIN 등의 여러 사전 훈련된 네트워크의 특징을 스택함으로써, 단일 사전 훈련된 네트워크를 사용할 때보다 분류 정확도가 최대 8% 향상되었다.
• 두 네트워크로 구성된 S-NN 스택은 다섯 네트워크 스택과 유사한 성능를 달성했지만, 계산 비용은 크게 감소시켰다.
• 한 개의 네트워크를 두 데이터셋에서 동시에 미세조정한 결과, 각각 별도로 미세조정한 경우와 거의 동일한 분류 정확도를 달성했다.
• 공동 미세조정된 네트워크의 특징는 개별적으로 미세조정된 네트워크의 특징보다 더 나은 일반화 능력을 보였다.
• 여러 개의 S-NN 모델을 앙상블하여 평균 내는 방식은 스택만으로는 달성할 수 없는 상당한 성능 향상을 이끌어냈다.
• 각 네트워크의 정확도 비례로 특징를 스케일링하는 가중치 스택 방식은 성능이 열 劣한 네트워크의 악영향을 줄였다.