[논문 리뷰] Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration

Fatemeh Haghighi, Mohammad Reza Hosseinzadeh Taher외 3명|arXiv (Cornell University)|2020. 07. 14.

AI in cancer detection참고 문헌 23인용 수 7

한 줄 요약

이 논문은 자가발견, 자가분류, 자가복원을 통해 자가학습 방식으로 반복되는解剖학적 패턴을 활용하여 레이블이 없는 의료 영상에서 의미론적 특징을 풍부하게 담은 표현을 학습하는 자기지도 학습 3D 딥러닝 프레임워크인 Semantic Genesis을 제안한다. 이는 CT, MRI, X-ray에서의 여섯 가지 의료 영상 작업 전반에서 모든 3D 자기지도 학습 및 완전지도 학습 사전학습 모델, 특히 ImageNet 기반 전이 학습을 포함하여 기존의 모든 모델을 능가한다.

ABSTRACT

Medical images are naturally associated with rich semantics about the human anatomy, reflected in an abundance of recurring anatomical patterns, offering unique potential to foster deep semantic representation learning and yield semantically more powerful models for different medical applications. But how exactly such strong yet free semantics embedded in medical images can be harnessed for self-supervised learning remains largely unexplored. To this end, we train deep models to learn semantically enriched visual representation by self-discovery, self-classification, and self-restoration of the anatomy underneath medical images, resulting in a semantics-enriched, general-purpose, pre-trained 3D model, named Semantic Genesis. We examine our Semantic Genesis with all the publicly-available pre-trained models, by either self-supervision or fully supervision, on the six distinct target tasks, covering both classification and segmentation in various medical modalities (i.e.,CT, MRI, and X-ray). Our extensive experiments demonstrate that Semantic Genesis significantly exceeds all of its 3D counterparts as well as the de facto ImageNet-based transfer learning in 2D. This performance is attributed to our novel self-supervised learning framework, encouraging deep models to learn compelling semantic representation from abundant anatomical patterns resulting from consistent anatomies embedded in medical images. Code and pre-trained Semantic Genesis are available at https://github.com/JLiangLab/SemanticGenesis .

연구 동기 및 목표

• 레이블이 없는 의료 영상 내에 잠재된 풍부하고 무료인 의미론적 정보를 반복되는 해부학적 패턴에서 활용하여 자기지도 표현 학습의 잠재력을 극대화하고자 한다.
• 일관된 해부학적 구조를 감독 신호로 명시적으로 활용하는 자기지도 학습 프레임워크를 개발하여 모델의 일반화 능력과 의미론적 이해력을 향상시키고자 한다.
• 다양한 의료 영상 응용 분야에서 자기지도 학습 및 완전지도 학습 모델을 모두 능가하는 일반 목적의 사전학습 3D 모델을 구축하고자 한다.
• 의미론적 특징을 풍부하게 한 3D 표현 학습이 ImageNet 사전학습을 사용하더라도 2D 슬라이스 기반 접근법보다 뛰어난 성능을 내는지 확인하고자 한다.
• 자기분류와 자가복원을 조합함으로써 강력하고 전이 가능한 시각적 표현을 학습하는 데서 유의미한 보완 효과가 존재하는지 검증하고자 한다.

제안 방법

• 프레임워크는 스킵 연결과 분류 헤드를 갖춘 인코더-디코더 아키텍처를 사용하며, 레이블이 없는 3D 의료 영상에서 엔드 투 엔드로 훈련된다.
• 자기발견은 기준 환자의 깊은 잠재 특징을 활용하여 환자 간 일관된 해부학적 패턴을 식별하며, 고정된 좌표에서 영역을 자르는 방식이다.
• 자기분류는 공간적 좌표를 기반으로 잘라낸 해부학적 패턴에 의사라벨을 할당하여, 반복되는 패턴으로부터 의미론적 구조를 학습할 수 있도록 한다.
• 자가복원은 변형된 영상 버전에서 원본 영상 조각을 재구성하도록 모델을 훈련시켜, 특징의 강건성과 불변성을 향상시킨다.
• 자기분류(의미론적 특징을 위한)와 자가복원(외관 및 구조적 특징을 위한)을 조합한 다중목표 최적화를 통해 사전학습을 수행하며, 계산 비용은 최소한으로 유지된다.
• 최종 모델인 Semantic Genesis는 인간의 레이블 없이 다운스트림 작업에 피니튜닝되며, 분류 및 세그멘테이션 작업에 대해 제로샷 또는 희소샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 의료 영상 내 반복되는 해부학적 패턴이 자기지도 표현 학습을 위한 강력하고 무료인 감독 신호로 기능할 수 있는가?
• RQ2 해부학적 구조의 자기발견 및 자기분류 통합이 무작위 자르기 기반 방법과 비교해 의미론적 표현 학습을 얼마나 향상시키는가?
• RQ3 Semantic Genesis를 통한 의미론적 특징 풍부화 사전학습이 기존의 자기지도 학습 및 완전지도 학습 3D 사전학습 방법보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 ImageNet 사전학습 모델을 사용하더라도 의미론적 특징이 풍부한 3D 사전학습이 2D 슬라이스 기반 전이 학습보다 성능이 뛰어나게 되는가?
• RQ5 자기분류와 자가복원이 어떻게 상호보완적으로 작용하여 다양한 의료 영상 작업에서 최종 표현 품질과 일반화 능력을 향상시키는가?

주요 결과

• Semantic Genesis는 CT, MRI, X-ray에서의 여섯 가지 다른 의료 영상 작업 전반에서 공개된 모든 3D 자기지도 학습 및 완전지도 학습 사전학습 모델, 특히 MedicalNet, NiftyNet, I3D를 포함하여 뚜렷이 뛰어난 성능을 보였다.
• 3D 작업(NCC 및 NCS)에서 Semantic Genesis 3D는 ImageNet 기반 최신 모델을 포함한 모든 2D 접근법을 능가하여, 부피 영상에 대해 3D 솔루션이 반드시 필요하다는 것을 입증했다.
• Semantic Genesis 2D는 Models Genesis 2D를 능가하며, PXS 및 NCC에서 ImageNet 기반 모델과 동등한 성능을 달성하여, 자기지도 학습이 일부 환경에서는 완전지도 사전학습과 동등한 성능을 낼 수 있음을 시사한다.
• 자기분류와 자가복원을 함께 훈련할 경우, 각각을 별도로 사용할 때보다 더 안정적이고 높은 성능을 기록하여, 이 두 방법이 다양한 시각적 표현을 학습하는 데서 보완적인 성질을 가짐을 확인했다.
• Semantic Genesis는 대규모 도메인 이동(예: LCS와 BMS)이 있는 작업 간에도 일관되게 일반화되며, 원천 데이터셋과 타겟 데이터셋 간의 차이가 크더라도 강건성과 전이 가능성의 우수함을 보였다.
• 사전학습 단계에서 인간의 레이블 데이터가 전혀 필요 없이도 최신 기술 수준의 성능을 달성하여, 의료 영상 내에 풍부하게 존재하는 해부학적 의미론적 정보를 효과적으로 자가감독 학습에 활용할 수 있음을 입증했다.