[논문 리뷰] Nervus: A Comprehensive Deep Learning Classification, Regression, and Prognostication Tool for both Medical Image and Clinical Data Analysis

Toshimasa Matsumoto, Shannon L. Walston외 2명|arXiv (Cornell University)|2022. 12. 12.

AI in cancer detection인용 수 4

한 줄 요약

Nervus는 의료 영상 및 임상 데이터 분석을 위한 파이토치 기반 딥러닝 프레임워크로, 회색조 영상과 표 형태 데이터를 통합된 파이프라인으로 통합하여 분류, 회귀 및 예후 과제를 수행하도록 설계되었습니다. 네 부분으로 구성된 아키텍처(데이터로더, 특징 추출기, 특징 혼합기, 분류기)를 사용하여 다중 입력, 다중 레이블 학습을 유연하게 지원하며, 영상의학 및 임상 연구 분야에서 높은 사용성과 함께 제공됩니다.

ABSTRACT

The goal of our research is to create a comprehensive and flexible library that is easy to use for medical imaging research, and capable of handling grayscale images, multiple inputs (both images and tabular data), and multi-label tasks. We have named it Nervus. Based on the PyTorch library, which is suitable for AI for research purposes, we created a four-part model to handle comprehensive inputs and outputs. Nervus consists of four parts. First is the dataloader, then the feature extractor, the feature mixer, and finally the classifier. The dataloader preprocesses the input data, the feature extractor extracts the features between the training data and ground truth labels, feature mixer mixes the features of the extractors, and the classifier classifies the input data from feature mixer based on the task. We have created Nervus, which is a comprehensive and flexible model library that is easy to use for medical imaging research which can handle grayscale images, multi-inputs and multi-label tasks. This will be helpful for researchers in the field of radiology.

연구 동기 및 목표

• 의료 영상 및 임상 데이터 연구에 특화된 유연하고 사용자 友好的 딥러닝 라이브러리 개발
• 회색조 의료 영상과 표 형태 임상 데이터와 같은 이질적인 데이터 모odalities를 단일 딥러닝 프레임워크 내에서 통합하는 데 도전하는 문제 해결
• 통합된 파이프라인 내에서 다중 레이블 분류, 회귀, 예후 모델링과 같은 다양한 머신러닝 과제 지원
• 모듈러하고 확장 가능한 아키텍처를 제공함으로써 영상의학 및 임상 AI 연구의 접근성과 재현 가능성 향상
• 딥러닝 전문 지식이 부족한 연구자들도 최소한의 코드 복잡도로 엔드 투 엔드 학습 및 추론을 가능하게 함

제안 방법

• 프레임워크는 네 단계 아키텍처를 사용함: 입력 전처리를 위한 데이터로더, 영상 및 표 형태 데이터에서 표현을 학습하는 특징 추출기, 다중 모odal 특징을 융합하는 특징 혼합기, 과제에 특화된 출력을 제공하는 분류기.
• 데이터로더는 데이터 로딩 및 전처리를 담당하며, 의료 영상의 정규화 및 증강, 표 형태 데이터의 표준화를 포함함.
• 특징 추출기는 영상 데이터에 대해 합성곱 신경망(CNNs)을, 표 형태 데이터에 대해 완전 연결 네트워크를 사용하여 공동 특징 학습을 가능하게 함.
• 특징 혼합기는 다중 모달 특징을 연결 또는 어텐션 기반 메커니즘을 사용하여 교차 모달 상호작용을 모델링함.
• 분류기 헤드는 과제에 적응적으로 설계되며, 다중 클래스 분류에는 소프트맥스, 다중 레이블 과제에는 시그모이드, 연속된 결과 예측을 위한 회귀 헤드를 사용함.
• 전체 파이프라인이 파이토치 기반으로 구축되어 연구 워크플로우와의 호환성을 확보하고, 쉽게 커스터마이징 및 배포가 가능함.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 단일 학습 파이프라인 내에서 의료 영상과 임상 표 형태 데이터를 효과적으로 처리할 수 있는가?
• RQ2 다중 모달 입력(영상 및 표 형태 데이터)의 통합이 의료 분류 및 예후 과제에서 성능을 향상시키는 데 얼마나 기여하는가?
• RQ3 Nervus의 모듈러 설계가 다중 레이블 및 회귀 문제를 포함한 다양한 머신러닝 과제를 얼마나 잘 지원하는가?
• RQ4 Nervus는 영상의학 및 임상 AI 연구 분야의 기존 프레임워크와 비교해 사용성과 성능 면에서 어떻게 다른가?
• RQ5 특징 혼합기 컴포넌트가 영상 특징과 임상 특징 간의 교차 모달 의존성을 효과적으로 포착할 수 있는가?

주요 결과

• Nervus는 회색조 의료 영상과 임상 표 형태 데이터를 단일 엔드 투 엔드 딥러닝 파이프라인으로 성공적으로 통합함.
• 프레임워크는 동일한 아키텍처 내에서 분류, 회귀, 다중 레이블 예측과 같은 다수의 학습 과제를 지원함.
• 모듈러 설계 덕분에 연구자들이 특정 용도에 맞게 특징 추출기나 분류기를 쉽게 교체할 수 있음.
• 파이토치 사용으로 기존 딥러닝 연구 도구 및 워크플로우와의 높은 호환성 확보됨.
• 의료 영상 연구자들에게 뛰어난 사용성 제공로, 데이터 파이프라인 및 모델 아키텍처의 커스텀 구현이 줄어듦.
• Nervus는 다중 모달 데이터에서의 공동 학습을 가능하게 하여, 단일 모달 모델 대비 예후 및 진단 과제에서 모델 성능 향상 잠재력 확보