[논문 리뷰] Diving deeper into mentee networks

Ragav Venkatesan, Baoxin Li|arXiv (Cornell University)|2016. 04. 27.

Advanced Neural Network Applications참고 문헌 5인용 수 14

한 줄 요약

이 논문은 여러 층을 거쳐 더 큰 사전 훈련된 '멘토' 네트워크의 활성화 패턴을 모방함으로써, 처음부터 작은, 얕은 '멘티' 네트워크를 훈련하는 새로운 멘티드 러닝 프레임워크를 제안한다. 층 단위의 비유사도 손실을 적용함으로써, 멘티 네트워크는 작은 데이터셋과 높은 학습률 조건에서도 우수한 일반화 성능과 안정적인 훈련을 달성한다. 이는 표준 정규화 기법과 독립적으로 훈련된 네트워크를 뛰어넘는 성능을 보인다.

ABSTRACT

Modern computer vision is all about the possession of powerful image representations. Deeper and deeper convolutional neural networks have been built using larger and larger datasets and are made publicly available. A large swath of computer vision scientists use these pre-trained networks with varying degrees of successes in various tasks. Even though there is tremendous success in copying these networks, the representational space is not learnt from the target dataset in a traditional manner. One of the reasons for opting to use a pre-trained network over a network learnt from scratch is that small datasets provide less supervision and require meticulous regularization, smaller and careful tweaking of learning rates to even achieve stable learning without weight explosion. It is often the case that large deep networks are not portable, which necessitates the ability to learn mid-sized networks from scratch. In this article, we dive deeper into training these mid-sized networks on small datasets from scratch by drawing additional supervision from a large pre-trained network. Such learning also provides better generalization accuracies than networks trained with common regularization techniques such as l2, l1 and dropouts. We show that features learnt thus, are more general than those learnt independently. We studied various characteristics of such networks and found some interesting behaviors.

연구 동기 및 목표

• 작은 데이터셋에서 표준 정규화 기법이 부족한 감독으로 인해 실패하는 경우가 많은 중간 크기의 딥 네트워크를 처음부터 훈련하는 데 도전하는 것.
• 큰 사전 훈련된 네트워크에서 다층 감독을 활용하여, 소규모 데이터 환경에서의 일반화 성능과 훈련 안정성을 향상시키는 것.
• 여러 네트워크 깊이에서의 멘토링이 단일 층의 디스틸레이션 또는 전통적인 정규화 기법보다 더 나은 특징 표현을 이끌어내는지 탐구하는 것.
• 이 다층 멘토링 방식을 통해 훈련된 멘티 네트워크의 전이 가능성과 비지도 학습 잠재력을 평가하는 것.

제안 방법

• 멘티 네트워크는 최종 층에서의 표준 크로스 엔트로피 손실과 함께, 멘티의 중간 층 활성화와 사전 훈련된 멘토 네트워크의 해당 활성화 간의 비유사도 손실을 결합하여 훈련된다.
• 다양한 깊이(예: 첫 번째 합성곱 층, 두 번째 히든 층)에서 층 단위의 디스틸레이션을 적용하며, 멘토의 활성화가 멘티의 특징 맵에 대한 감독으로 기능한다.
• 이 방법은 멘티 네트워크의 세 가지 성격 유형을 도입한다: '순종적(gullible)', '복종적(obedient)', '고집스러운(adamant)'으로, 멘토의 영향력 강도를 제어한다.
• 이 접근법은 작은 배치 크기와 높은 학습률 조건에서도 안정적인 훈련을 가능하게 하여, 가중치 폭발의 위험을 줄인다.
• 비지도 멘토링은 지도 학습이 없는 상황에서, 레이블이 없는 데이터로부터 멘토의 특징 맵만을 사용해 동일한 디스틸레이션 손실을 적용하여 탐색한다.
• 이 프레임워크는 CIFAR-10, CIFAR-100, MNIST, Caltech101/256 데이터셋을 대상으로 평가되어 성능, 일반화 능력, 특징 전이 가능성 등을 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 멘토 네트워크에서 다층 디스틸레이션을 통해, 처음부터 훈련된 작은 네트워크의 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 단일 층의 디스틸레이션 또는 표준 정규화 기법과 비교해, 여러 네트워크 깊이에서의 멘토링이 훈련 안정성과 수렴 속도 측면에서 어떻게 다른가?
• RQ3 매우 작은 데이터셋에서나 비지도 학습 방식으로 훈련된 멘티 네트워크가 일반적이고 전이 가능한 특징을 얼마나 잘 학습할 수 있는가?
• RQ4 멘토 감독 하에서, 다양한 멘티 네트워크 성격(순종적, 복종적, 고집스러운)이 훈련 과정에서 보이는 특이한 행동 양상은 무엇인가?

주요 결과

• CIFAR-100에서, 다층 멘토링을 통해 훈련된 멘티 네트워크는 독립적으로 훈련된 기준 모델보다 뚜렷한 정확도 향상을 보였으며, 특히 데이터가 제한된 조건에서 두드러졌다.
• 동일한 훈련 반복 수와 학습률을 사용하더라도, L2, L1, 드롭아웃 등의 표준 정규화 기법보다 일반화 성능에서 멘티 네트워크가 뛰어났다.
• CIFAR-10에서 40,000장의 훈련 이미지만으로도 멘토링이 거의 이득을 주지 못했으며, 충분한 데이터가 확보된 경우 멘토링의 효과가 감소함을 시사했다.
• Caltech101/256에서 멘티 네트워크는 독립 기준 모델보다 뛰어난 성능을 보였고, 특히 분류기 헤드만을 피니튜닝한 경우에 그 성능이 두드러졌다. 이는 학습된 특징의 일반성과 타당성을 입증한다.
• 단 한 에포크의 훈련 후, 순종적인 멘티 네트워크의 첫 번째 층 필터는 VGG-19 멘토의 필터와 매우 유사하게 수렴했으며, 초기 무작위 상태에서의 RMSE가 6.54에서 0.0023으로 감소했다.
• 심지어 '고집스러운' 멘티 네트워크조차도 VGG-19와 유사한 모서리 검출 특징을 학습했으며, 이는 일반적인 특징이 다양한 데이터셋 간에 매우 높은 전이 가능성을 지닌다는 것을 시사한다.