[논문 리뷰] Multimodal Densenet

Faisal Mahmood, Ziyun Yang외 2명|arXiv (Cornell University)|2018. 11. 18.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 다중모달 의료 영상 데이터—예를 들어 화이트 라이트, 협대역 영상, 깊이 맵—을 첫 번째 밀집 블록에서 밀집된 다층 특징 융합을 통해 융합하는 새로운 딥러닝 아키텍처인 Multimodal Densenet을 제안한다. 이는 단모달 및 기존의 다중모달 융합 방법에 비해 다핵종 분류 및 해부학적 랜드마크 탐지 정확도를 크게 향상시킨다.

ABSTRACT

Humans make accurate decisions by interpreting complex data from multiple sources. Medical diagnostics, in particular, often hinge on human interpretation of multi-modal information. In order for artificial intelligence to make progress in automated, objective, and accurate diagnosis and prognosis, methods to fuse information from multiple medical imaging modalities are required. However, combining information from multiple data sources has several challenges, as current deep learning architectures lack the ability to extract useful representations from multimodal information, and often simple concatenation is used to fuse such information. In this work, we propose Multimodal DenseNet, a novel architecture for fusing multimodal data. Instead of focusing on concatenation or early and late fusion, our proposed architectures fuses information over several layers and gives the model flexibility in how it combines information from multiple sources. We apply this architecture to the challenge of polyp characterization and landmark identification in endoscopy. Features from white light images are fused with features from narrow band imaging or depth maps. This study demonstrates that Multimodal DenseNet outperforms monomodal classification as well as other multimodal fusion techniques by a significant margin on two different datasets.

연구 동기 및 목표

• 다양한 대trast 설정에서 획득한 내시경 영상과 같은 다중모달 의료 영상 데이터를 통합된 강력한 표현으로 융합하여 진단 정확도를 향상시키는 데 도전하는 것.
• 기존의 조기/후기 융합 또는 단순 연결과 같은 전통적 융합 방법이 복잡한 모달 간 의존성을 포착하지 못하는 한계를 극복하는 것.
• 대응되지 않은 다중모달 데이터(예: 화이트 라이트 및 협대역 영상)를 사이클 일致성 손실를 활용한 적대적 도메인 정렬을 통해 효과적으로 정렬하고 융합할 수 있도록 하는 것.
• 밀집 연결과 다층 융합의 이점을 활용하여 기울기 소실 문제를 완화하고 다양한 모달 간 특징 학습을 향상시키는 딥러닝 아키텍처를 개발하는 것.
• 내시경에서의 다중모달 시나리오 분류 과제, 특히 다핵종 특성 분석 및 해부학적 랜드마크 탐지에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 첫 번째 밀집 블록 내에서 다양한 영상 모달의 특징을 융합하는 Multimodal Densenet 아키텍처를 제안하며, 밀집 스위프트 연결을 통해 특징 흐름과 기울기 전파를 향상시킨다.
• 특정히 첫 번째 밀집 블록의 마지막 여덟 층을 대상으로 다층 융합을 구현하여 교차 모달 표현의 계층적이고 동적 융합을 가능하게 한다.
• 사이클 일치성 손실를 활용한 이중 GAN 프레임워크를 도입하여 동일한解부학적 영역에서의 대응되지 않은 다중모달 데이터(예: 화이트 라이트 및 NBI 내시경)를 정렬함으로써, 쌍화된 훈련 데이터가 필요 없이도 효과적인 융합을 가능하게 한다.
• Residual 연결을 수정하여 이중 스트림 입력(예: RGB 및 깊이 또는 화이트 라이트 및 NBI)을 지원하도록 DenseNet 아키텍처를 변형함으로써 모달 간 공유된 특징 학습을 가능하게 한다.
• 기울기 기반 활성화 맵핑(Grad-CAM)을 적용하여 모델의 주의 메커니즘을 시각화하고 검증함으로써, 네트워크가 다핵종 표면과 같은 진단적으로 관련 있는 영역에 집중하고 있음을 확인한다.
• 표준 훈련 프rotocol을 적용하여 교차 엔트로피 손실 및 Adam 최적화를 사용하며, 다핵종 분류 및 랜드마크 탐지에 대해 두 개의 별도된 내시경 데이터셋에서 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 층에서 다중모달 의료 영상 데이터를 융합하는 딥러닝 아키텍처가 내시경 영상 분류 과제에서 단모달 및 기존의 다중모달 융합 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 밀집된 다층 융합 전략은 조기 융합, 후기 융합 또는 연결 기반 융합 전략에 비해 모달 간 의존성을 얼마나 효과적으로 포착하고 진단 정확도를 향상시키는가?
• RQ3 대응되지 않은 다중모달 내시경 영상(예: 화이트 라이트 및 협대역 영상)을 적대적 훈련과 사이클 일치성 손실를 활용해 효과적으로 정렬하고 융합할 수 있는가?
• RQ4 제안된 Multimodal Densenet은 다핵종 특성 분석 및 해부학적 랜드마크 탐지와 같은 실제 임상 과제에서 성능을 얼마나 향상시키는가?
• RQ5 Grad-CAM을 통해 시각화된 모델의 주의가 다핵종 표면의 질감 및 색소와 같은 임상적으로 관련 있는 특징과 일치하는가? 이는 강력하고 해석 가능한 특징 학습을 의미하는가?

주요 결과

• Multimodal Densenet은 표준 DenseNet 대비 RGB-D 다핵종 분류에서 F1 스코어를 24.72% 향상시켜 다중모달 융합의 뚜렷한 성능 향상을 입증했다.
• 화이트 라이트 및 NBI 다핵종 분류 과제에서 제안된 모델은 단모달 DenseNet 대비 F1 스코어를 8.03% 향상시켰으며, VGG16-Fuse(+4.28%) 및 ResNet-50-Fuse(+8.03%) 기준선을 모두 초월했다.
• RGB 및 깊이 영상을 사용한 7클래스 해부학적 랜드마크 및 병리학적 분류 과제에서 최신 기술 수준의 결과를 달성하였으며, 기존 융합 아키텍처 대비 정확도 향상을 보였다.
• Grad-CAM 시각화 결과 Multimodal Densenet이 다핵종 표면과 같은 진단적으로 관련 있는 영역에 색소, 질감, 깊이 정보를 종합적으로 활용하여 집중하는 것으로 확인되었으며, 단모달 Densenet는 종종 주변 조직에 의존하는 것과 대비된다.
• 적대적 도메인 정렬과 사이클 일치성 손실를 통한 융합은 대응되지 않은 화이트 라이트 및 NBI 영상 간의 융합을 성공적으로 가능케 하여 수동 정렬이 필요 없이도 비등록 데이터를 효과적으로 활용할 수 있었다.
• 더 긴 훈련 시간이 요구되지만, 임상 환경에서 진단 정확도가 핵심인 상황에서는 계산 비용을 감당할 수 있을 정도로 성능 향상이 뚜렷하다.