[논문 리뷰] Layer-wise training of deep networks using kernel similarity

Mandar Kulkarni, Shirish Karande|arXiv (Cornell University)|2017. 03. 21.

Face and Expression Recognition참고 문헌 10인용 수 16

한 줄 요약

이 논문은 깊은 신경망의 계층별 훈련 방법을 제안하며, 커널 유사도 최적화를 통해 특징 표현을 향상시킨다. 반복적으로 각 계층의 커널 행렬이 이상적 커널(내부 클래스 유사도 1, 외부 클래스 유사도 0)과 점점 더 유사하도록 변환 행렬을 학습시킴으로써, 백프로파게이션으로 훈련된 DNN에 비슷한 분류 정확도를 달성하면서도 더 작은 단계적 파rameter 조정을 통해 과적합을 감소시킨다.

ABSTRACT

Deep learning has shown promising results in many machine learning applications. The hierarchical feature representation built by deep networks enable compact and precise encoding of the data. A kernel analysis of the trained deep networks demonstrated that with deeper layers, more simple and more accurate data representations are obtained. In this paper, we propose an approach for layer-wise training of a deep network for the supervised classification task. A transformation matrix of each layer is obtained by solving an optimization aimed at a better representation where a subsequent layer builds its representation on the top of the features produced by a previous layer. We compared the performance of our approach with a DNN trained using back-propagation which has same architecture as ours. Experimental results on the real image datasets demonstrate efficacy of our approach. We also performed kernel analysis of layer representations to validate the claim of better feature encoding.

연구 동기 및 목표

• 종래의 백프로파게이션 없이 계층 간 특징 표현의 계층적 향상을 달성하는 새로운 계층별 훈련 방법을 개발하는 것.
• 각 계층을 단독으로 훈련시켜 파rameter 수를 줄이고, 커널 유사도를 최적화 목표로 삼아 과적합을 최소화하는 것.
• 커널 PCA 분석을 통해 더 깊은 계층에서 더 단순하고 정확한 표현이 생성됨을 검증하는 것.
• 표준 이미지 데이터셋에서 제안된 방법이 종래의 백프로파게이션으로 훈련된 DNN과 유사한 분류 성능을 달성함을 보여주는 것.

제안 방법

• 각 계층에 대해, 해당 계층의 커널 행렬이 이상적 커널 행렬과 점점 더 유사하도록 변환 행렬을 학습하는 최적화 문제를 설정한다.
• 이상적 커널 행렬은 동일 클래스 쌍에 대해 값 1을, 다른 클래스 쌍에 대해 값 0을 할당하며, 커널 유사도 최적화의 목표로 사용된다.
• 현재 계층의 커널과 이상적 커널 간의 차이를 최소화하는 방식으로 변환 행렬을 학습하며, 유사도 계산에 RBF 커널을 사용한다.
• 한 계층의 변환 행렬을 학습한 후, 그 특징는 다음 계층으로 전달되며, 동일한 커널 유사도 최적화 목표를 사용해 독립적으로 훈련된다.
• 각 계층의 표현의 복잡성과 정확도를 분석하기 위해 커널 PCA를 사용하며, 주성분의 고유벡터에 집중된 에너지를 측정한다.
• 분류 성능 평가를 위해 최종 계층의 특징에 대해 최종 완전 연결 계층(FC100)과 소프트맥스를 훈련시고, 표준 DNN과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 커널 유사도 최적화를 활용한 계층별 훈련이 종래의 종단간 백프로파게이션으로부터 유사한 효과적인 특징 표현을 생성할 수 있는가?
• RQ2 깊이가 증가함에 따라 커널 PCA 에너지 농도 측정을 통해 점점 더 단순하고 정확한 표현이 생성되는가?
• RQ3 특히 훈련 데이터가 제한된 경우, 제안된 방법이 표준 DNN 훈련보다 과적합을 줄일 수 있는가?
• RQ4 제안된 방법의 분류 정확도가 표준 이미지 벤치마크에서 동일한 아키텍처를 가진 DNN과 비교해 어떻게 되는가?

주요 결과

• 제안된 계층별 훈련 방법은 MNIST 및 CIFAR-10 데이터셋에서 백프로파게이션으로 훈련된 DNN과 유사한 테스트 분류 정확도를 달성하였다.
• 제한된 훈련 데이터를 가진 CIFAR-10에서 제안된 방법은 DNN 베이스라인을 초월하여 성능을 냈으며, 이는 각 계층에서 파rameter 조정의 크기가 작아 과적합이 감소했음을 시사한다.
• 커널 PCA 분석 결과, 계층이 깊어질수록 더 많은 에너지가 적은 수의 주성분에 집중되었으며, 이는 더 단순하고 정확한 표현을 확인하는 데 기여한다.
• 학습된 필터의 시각적 점검 결과, 첫 번째 계층에서 풍부하고 분류에 유용한 특징이 관찰되었으며, PMLP와 같은 사전 훈련된 모델과 유사한 특징을 띠었다.
• 이 방법은 모듈러한 딥러닝 접근법의 가능성을 보여주었으며, 성능 향상이 보장되는 조건에서 계층을 선택적으로 추가할 수 있었다.
• 최적화 과정은 각 계층의 커널 행렬이 이상적 커널에 수렴하도록 성공적으로 이끌었으며, 표현 학습 향상의 핵심 가정이 검증됨을 입증하였다.