[논문 리뷰] Feature Representation Analysis of Deep Convolutional Neural Network using Two-stage Feature Transfer -An Application for Diffuse Lung Disease Classification-

Aiga Suzuki, Hidenori Sakanashi외 2명|arXiv (Cornell University)|2018. 10. 15.

Radiomics and Machine Learning in Medical Imaging참고 문헌 15인용 수 12

한 줄 요약

이 논문은 근육질 병변의 고해상도 CT 스캔과 같은 문맥적 의료 영상의 분류 성능을 햖을 두 단계의 특징 전이 학습 방법을 제안한다. 자연 이미지에서 사전 훈련한 후 목표 DLD 데이터셋에 대한 미세 조정 전에 문맥적 이미지에서 추가로 사전 훈련함으로써, 초기 훈련 및 단일 단계 전이 학습에 비해 향상된 성능과 강건성을 달성한다. 시각화 결과는 경계 및 문맥적 특징을 모두 향상된 방식으로 포착함을 보여준다.

ABSTRACT

Transfer learning is a machine learning technique designed to improve generalization performance by using pre-trained parameters obtained from other learning tasks. For image recognition tasks, many previous studies have reported that, when transfer learning is applied to deep neural networks, performance improves, despite having limited training data. This paper proposes a two-stage feature transfer learning method focusing on the recognition of textural medical images. During the proposed method, a model is successively trained with massive amounts of natural images, some textural images, and the target images. We applied this method to the classification task of textural X-ray computed tomography images of diffuse lung diseases. In our experiment, the two-stage feature transfer achieves the best performance compared to a from-scratch learning and a conventional single-stage feature transfer. We also investigated the robustness of the target dataset, based on size. Two-stage feature transfer shows better robustness than the other two learning methods. Moreover, we analyzed the feature representations obtained from DLDs imagery inputs for each feature transfer models using a visualization method. We showed that the two-stage feature transfer obtains both edge and textural features of DLDs, which does not occur in conventional single-stage feature transfer models.

연구 동기 및 목표

• 의료 영상 분류에서 훈련 데이터가 제한된 문제, 특히 산발성 폐질환(DLD)의 고해상도 CT 스캔에서의 문맥 패턴에 대응하기 위해.
• 훈련 데이터가 부족한 상황에서 DCNN의 일반화 및 강건성을 향상시키기 위해 기존의 단일 단계 전이 학습을 확장하기 위해.
• 다양한 소스 도메인(자연 이미지 및 문맥적 이미지)에서 순차적으로 사전 훈련하는 것이 의료 영상 작업의 특징 표현을 향상시키는지 조사하기 위해.
• 다양한 전이 전략을 통해 학습된 특징 표현이 DLD 영상에서 경계와 문맥에 대해 어떻게 민감도를 보이는지 분석하기 위해.

제안 방법

• 이 방법은 두 단계의 특징 전이 과정을 사용한다: 먼저 대규모 자연 이미지 데이터셋(예: ImageNet)에서 DCNN을 사전 훈련하고, 그 다음 목표 DLD 영상과 유사한 문맥적 이미지 세트에서 추가로 사전 훈련한다.
• 두 단계의 사전 훈련 이후, 전체 네트워크(특징 추출 및 분류 레이어 포함)가 목표 DLD 데이터셋에서 미세 조정된다.
• 표준 DCNN 아키텍처(예: AlexNet 또는 VGG 유사)를 사용하며, 분류기 뿐 아니라 모든 레이어에 전이 학습을 적용하여 특징 계층을 목표 도메인에 적응시킨다.
• 특징 시각화는 탈합성 네트워크(DeSaliNet)를 사용하여 다양한 레이어, 특히 최종 완전 연결 레이어(Fc6)에서 학습된 필터와 활성화 맵을 분석한다.
• 역매핑 과정은 탈합성, 최대 풀링 및 ReLU 연산을 통해 특징 맵을 재구성하여 분석을 위한 공간적 활성화 패턴을 유지한다.
• 세 가지 훈련 전략을 비교한다: 초기 훈련, 단일 단계 전이(자연 이미지에서만), 두 단계 전이(자연 + 문맥적 이미지).

실험 결과

연구 질문

• RQ1 자연 이미지와 문맥적 이미지에서 모두 사전 훈련하는 두 단계 특징 전이가 단일 단계 전이 또는 초기 훈련에 비해 DLD HRCT 영상에서 더 높은 분류 성능을 내는가?
• RQ2 소스 도메인 선택(자연 이미지 대비 문맥적 이미지)이 의료 영상 작업에서 DCNN이 학습한 특징 표현에 어떤 영향을 미치는가?
• RQ3 목표 훈련 데이터셋 크기가 감소할 경우 두 단계 전이가 모델의 강건성을 얼마나 향상시키는가?
• RQ4 다른 전이 전략으로 훈련된 DCNN이 어떤 시각적 특징(경계, 문맥)을 포착하며, 활성화 패턴에서 그 차이는 무엇인가?

주요 결과

• 두 단계 특징 전이가 DLD HRCT 데이터셋에서 가장 높은 분류 정확도를 달성하여, 초기 훈련 및 단일 단계 전이 학습을 모두 앞섰다.
• 이 방법은 훈련 데이터 크기 감소에 대해 뛰어난 강건성을 보였으며, 제한된 레이블된 예제가 있을 때도 높은 성능을 유지했다.
• 시각화 결과, 두 단계 전이 모델은 자연 이미지 사전 훈련에서 유래한 경계 구조와 문맥적 이미지 사전 훈련에서 유래한 문맥 패턴 양쪽에 강하게 반응함을 확인했으며, 이는 단일 단계 모델이 오직 한 유형에만 치우쳐 있음을 보여준다.
• 자연 이미지에서만 사전 훈련된 모델은 경계에 강한 반응을 보였지만 문맥에 대한 반응은 약했고, 반대로 문맥적 이미지에서만 사전 훈련된 모델은 반대 패턴을 보였다.
• 두 단계 접근법은 DLD 진단에 관련된 구조적 특징과 문맥적 특징에 둘 다 민감한 균형 잡힌 보다 포괄적인 특징 표현을 생성했다.
• 결과적으로 소스 도메인 선택이 특징 표현에 상당한 영향을 미치며, 다중 도메인 사전 훈련이 의료 영상 작업에서 DCNN의 일반화 능력을 향상시킨다는 점이 시사된다.