[논문 리뷰] All-Transfer Learning for Deep Neural Networks and its Application to Sepsis Classification

Yoshihide Sawada, Yoshikuni Sato외 3명|arXiv (Cornell University)|2017. 11. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 8

한 줄 요약

이 논문은 소스 도메인 데이터에서 학습된 레이블 관계를 활용하여 출력층을 포함한 모든 파라미터를 전이하는 새로운 전이 학습 방법인 All-Transfer Deep Learning(ATDL)을 제안한다. 2-DE 영상 분류에 적용된 결과, ATDL은 90% 이상의 정확도를 달성하였고, 특히 매우 작은 타겟 데이터셋에서 기존 방법들을 능가하였으며, 마할라노비스 거리 상관관계를 통한 효과적인 소스 모델 선택을 가능하게 하였다.

ABSTRACT

In this article, we propose a transfer learning method for deep neural networks (DNNs). Deep learning has been widely used in many applications. However, applying deep learning is problematic when a large amount of training data are not available. One of the conventional methods for solving this problem is transfer learning for DNNs. In the field of image recognition, state-of-the-art transfer learning methods for DNNs re-use parameters trained on source domain data except for the output layer. However, this method may result in poor classification performance when the amount of target domain data is significantly small. To address this problem, we propose a method called All-Transfer Deep Learning, which enables the transfer of all parameters of a DNN. With this method, we can compute the relationship between the source and target labels by the source domain knowledge. We applied our method to actual two-dimensional electrophoresis image~(2-DE image) classification for determining if an individual suffers from sepsis; the first attempt to apply a classification approach to 2-DE images for proteomics, which has attracted considerable attention as an extension beyond genomics. The results suggest that our proposed method outperforms conventional transfer learning methods for DNNs.

연구 동기 및 목표

• 타겟 도메인 데이터가 매우 제한적일 경우, 특히 100건 이하일 경우 딥 네트워크에서의 분류 성능이 떨어지는 문제를 해결한다.
• 기존 전이 학습의 한계를 극복한다. 기존 방법은 일반적으로 첫 번째 레이어만 재사용하며, 소규모 타겟 데이터에서 출력 레이어에서 과적합 위험이 있다.
• 소스 및 타겟 레이블이 다를 경우에도 소스 도메인에서의 지식을 타겟 도메인으로 전이할 수 있는 방법을 개발한다. 이는 악성 전이를 방지한다.
• 데이터 프라이버시와 제한된 컴퓨팅 자원으로 인해 데이터 공유 및 모델 훈련이 제한되는 임상 환경에서의 실용적 구현을 가능하게 한다.
• 딥 러닝을 2-DE 영상 기반 단백질체학에 적용하여 패혈증 분류를 수행하는 것이 가능하고 효과적인지, 생물의학 AI 분야에서의 새로운 적용 사례로서의 타당성을 입증한다.

제안 방법

• 소스 데이터에서 사전 훈련된 DNN의 모든 레이어, 특히 출력 레이어까지 재사용하는 지도 기반 전이 학습 프레임워크인 All-Transfer Deep Learning(ATDL)를 제안한다.
• 소스 도메인 지식을 활용하여 소스 및 타겟 레이블 간의 매핑을 코딩하는 레이블 관계 벡터 $\mathbf{r}_l$를 도입함으로써, 모든 레이어에 대한 정규화를 가능하게 한다.
• 이중 단계 훈련 프로세스를 사용한다. 첫 번째 단계에서는 소스 전용 손실 함수를 사용하여 소스 데이터에서 DNN을 사전 훈련하고, 두 번째 단계에서는 타겟 전용 손실 함수를 사용하여 타겟 데이터에서 미세조정하며, 이때 $\mathbf{r}_l$을 정규화 항으로 활용한다.
• 타겟 레이블 관계 벡터 $\mathbf{r}_l$과 소스 하위집단 표현 간의 마할라노비스 거리 $d_m$을 계산하여, 미세조정 이전에 가장 관련성이 높은 소스 모델을 선별한다.
• MNIST 데이터에서 소스 도메인 하위집단 $\mathfrak{D}^s_a$를 구성하고, 이들의 $d_m(a)$를 계산하여 패혈증 데이터에서의 후행 분류 성능과 상관관계를 분석한다.
• 실제 2-DE 영상에서의 단백질체학 데이터에 적용하였으며, $L=1$이고 $D_1=188$ 특징을 가지는 DNN을 사용하였고, $N^t=49$개의 패혈증 및 비패혈증 샘플에서 훈련하였다.

실험 결과

연구 질문

• RQ1 출력층까지 포함한 모든 DNN 파라미터를 전이하는 전이 학습 방법이 매우 작은 타겟 데이터셋에서 분류 성능을 향상시킬 수 있는가?
• RQ2 소스 및 타겟 레이블 간의 관계를 어떻게 모델링할 수 있을까? 이는 레이블이 다를 경우에도 효과적인 지식 전이를 가능하게 한다.
• RQ3 레이블 관계 벡터와 소스 표현 간의 마할라노비스 거리 $d_m$이 후행 분류 성능을 예측하고, 효과적인 소스 모델 선택을 안내할 수 있는가?
• RQ4 ATDL은 2-DE 단백질체 영상에서의 패혈증 검출과 같은 실제 생물의학적 응용에 효과적인가?
• RQ5 기존의 부분적 파라미터 재사용 전이 학습 대비 ATDL은 악성 전이 및 과적합 위험을 줄이는가?

주요 결과

• ATDL는 2-DE 영상에서 패혈증을 분류하는 데 있어 90% 이상의 정확도를 달성하였으며, 이는 이 분야에서 딥 러닝을 적용한 최초의 성공적인 사례이다.
• 소규모 타겟 데이터셋($N^t = 49$) 조건에서도 기존 전이 학습 및 비전이 학습 기반선보다 뚜렷이 뛰어난 성능을 보였다.
• 마할라노비스 거리 $d_m$과 분류 성능 간에 강한 정적 상관관계($R = 0.665$, p-value $< 0.01$)를 발견하여, $d_m$이 효과적인 소스 모델 선택을 안내할 수 있음을 시사한다.
• $d_m$과 성능 간 상관관계는 PPV, NPV, MCC, F1, ACC 등 다양한 지표에서 일관되게 유지되어, 선별 기준의 강건성을 입증한다.
• 레이블 관계 벡터 $\mathbf{r}_l$를 사용하여 모든 레이어를 정규화함으로써, 소규모 타겟 데이터에서의 훈련을 안정화시켜 과적합 위험을 감소시켰다.
• 다양한 DNN 아키텍처와 타겟 과제에 대해 일반화 능력을 보이며, 저데이터 생물의학 환경에서 넓은 적용 가능성을 보였다.