[논문 리뷰] Knowledge Projection for Deep Neural Networks

Zhi Zhang, Guanghan Ning외 1명|arXiv (Cornell University)|2017. 10. 26.

Advanced Neural Network Applications참고 문헌 41인용 수 16

한 줄 요약

이 논문은 지식 투영 네트워크(KPN)를 제안하며, 사전 훈련된 대규모 교사 네트워크에서 추출된 지식을 더 얇고 빠른 학생 네트워크로 이동시키기 위해 학습 가능한 투영 행렬을 사용하는 프레임워크이다. 지식 투영과 도메인 적응을 동적으로 반복적인 레이어 선택 과정을 통해 함께 최적화함으로써, KPN은 소규모 데이터셋에서 레이블이 제한된 경우 정확도를 최대 4% 향상시키며, 모델 복잡도를 4배에서 10배까지 감소시킨다.

ABSTRACT

While deeper and wider neural networks are actively pushing the performance limits of various computer vision and machine learning tasks, they often require large sets of labeled data for effective training and suffer from extremely high computational complexity. In this paper, we will develop a new framework for training deep neural networks on datasets with limited labeled samples using cross-network knowledge projection which is able to improve the network performance while reducing the overall computational complexity significantly. Specifically, a large pre-trained teacher network is used to observe samples from the training data. A projection matrix is learned to project this teacher-level knowledge and its visual representations from an intermediate layer of the teacher network to an intermediate layer of a thinner and faster student network to guide and regulate its training process. Both the intermediate layers from the teacher network and the injection layers from the student network are adaptively selected during training by evaluating a joint loss function in an iterative manner. This knowledge projection framework allows us to use crucial knowledge learned by large networks to guide the training of thinner student networks, avoiding over-fitting, achieving better network performance, and significantly reducing the complexity. Extensive experimental results on benchmark datasets have demonstrated that our proposed knowledge projection approach outperforms existing methods, improving accuracy by up to 4% while reducing network complexity by 4 to 10 times, which is very attractive for practical applications of deep neural networks.

연구 동기 및 목표

• 레이블이 제한된 경우 딥 러닝에서 모델 압축과 도메인 적응의 이중 과제를 해결하기 위해.
• 대규모 레이블이 필요한 데이터 없이도 얇고 빠른 학생 네트워크의 성능을 향상시키기 위해.
• 훈련 중에 지식 투영과 도메인 특화 적응을 공동 최적화하기 위해.
• 정확도를 유지하거나 향상시키면서도 소규모 데이터셋에서 계산 복잡도를 감소시키기 위해.
• 자원 제약 조건이 있는 실세계 응용을 지원하는 모듈러하고 구현 가능한 프레임워크를 개발하기 위해.

제안 방법

• 사전 훈련된 교사 네트워크의 중간 레이어 특징을 더 작은 학생 네트워크의 해당 레이어로 매핑하기 위해 학습 가능한 투영 행렬을 훈련한다.
• 학습된 학생 네트워크를 안내하기 위해 지식 투영과 도메인 적응을 결합한 공동 손실 함수를 사용한다.
• 훈련 중에 교차 손실 평가 기반 반복적 프루닝을 통해 교사 및 학생 네트워크의 중간 레이어를 적응적으로 선택한다.
• 투영 과정은 두 단계 방식으로 최적화된다: 교사에서 지식 추출 및 엔드 투 엔드 훈련 중 학생 네트워크에 지식 주입.
• 교사 레이어 t에서 학생 레이어 s로의 최적의 '투영 경로'를 동적으로 식별하여 수동 레이어 선택을 피한다.
• 최종 추론 네트워크는 투영 구성 요소가 없는 표준 압축 학생 네트워크이므로 효율적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋에서 성능을 향상시키기 위해 대규모 사전 훈련된 교사 네트워크의 지식을 더 작은 학생 네트워크로 효과적으로 투영할 수 있는가?
• RQ2 지식 투영과 도메인 적응을 함께 최적화하여 학생 네트워크의 정확도와 효율성을 향상시킬 수 있는가?
• RQ3 성능 향상을 극대화하기 위해 지식 투영에 최적의 깊이와 레이어 구성은 무엇인가?
• RQ4 투영 경로의 반복적 프루닝이 데이터 부족 조건에서 모델 정확도와 강건성에 미치는 영향은 무엇인가?
• RQ5 제안된 프레임워크는 레이블 수가 제한된 벤치마크에서 정확도를 손상시키지 않고 상당한 모델 압축을 달성할 수 있는가?

주요 결과

• 제안된 KPN 프레임워크는 레이블이 제한된 벤치마크 데이터셋에서 기존 투영 방법보다 최대 4% 높은 분류 정확도를 달성한다.
• 이 방법은 모델 복잡도를 4배에서 10배까지 감소시켜 교사 네트워크의 파라미터 수의 2% 미만으로 줄이며, 34배의 속도 향상을 달성한다.
• 반복적 프루닝은 최적의 투영 경로를 성공적으로 식별하며, 결과는 테스트 정확도와 높은 상관관계를 보이며, 지식 전달에 중간 레이어가 유리하다.
• 학습 데이터가 감소할 경우에도 프레임워크는 높은 성능을 유지하며, 적응 손실을 보완하기 위해 투영 경로가 더 깊은 레이어로 이동한다.
• KPN으로 훈련된 학생 네트워크는 일반화 능력이 뛰어나며, 특히 데이터 부족 조건에서 과적합의 위험이 낮다.
• 모듈러한 설계 덕분에 객체 검출 및 세그멘테이션과 같은 다른 작업에 쉽게 통합될 수 있어 적용 범위가 넓어진다.