[논문 리뷰] Decompose to manipulate: Manipulable Object Synthesis in 3D Medical Images with Structured Image Decomposition

Siqi Liu, Eli Gibson외 6명|arXiv (Cornell University)|2018. 12. 04.

COVID-19 diagnosis using AI참고 문헌 30인용 수 21

한 줄 요약

이 논문은 폐 결절과 같은 의료 객체를 분할 마스크와 학습 가능한 잔차 벡터로 분해하여 제어 가능한 생성이 가능한 3D 조작 가능한 물체 합성 프레임워크를 제안한다. 조건부 VAE, 적대적 정련 및 구조적 분해를 사용하여, 실제 데이터와 조합했을 때 CPM 점수에서 결절 검출 성능을 8.44% 향상시키는 현실적이고 다양한 결절을 생성한다.

ABSTRACT

The performance of medical image analysis systems is constrained by the quantity of high-quality image annotations. Such systems require data to be annotated by experts with years of training, especially when diagnostic decisions are involved. Such datasets are thus hard to scale up. In this context, it is hard for supervised learning systems to generalize to the cases that are rare in the training set but would be present in real-world clinical practices. We believe that the synthetic image samples generated by a system trained on the real data can be useful for improving the supervised learning tasks in the medical image analysis applications. Allowing the image synthesis to be manipulable could help synthetic images provide complementary information to the training data rather than simply duplicating the real-data manifold. In this paper, we propose a framework for synthesizing 3D objects, such as pulmonary nodules, in 3D medical images with manipulable properties. The manipulation is enabled by decomposing of the object of interests into its segmentation mask and a 1D vector containing the residual information. The synthetic object is refined and blended into the image context with two adversarial discriminators. We evaluate the proposed framework on lung nodules in 3D chest CT images and show that the proposed framework could generate realistic nodules with manipulable shapes, textures and locations, etc. By sampling from both the synthetic nodules and the real nodules from 2800 3D CT volumes during the classifier training, we show the synthetic patches could improve the overall nodule detection performance by average 8.44% competition performance metric (CPM) score.

연구 동기 및 목표

• 감독형 딥 러닝 모델 훈련을 위한 고품질이며 다양한 레이블이 부여된 3D 의료 영상의 부족 문제를 해결하기 위해.
• 기존의 데이터 증강 및 인painting 방법이 객체의 형태, 질감, 위치에 대한 제어 기능이 부족한 문제를 극복하기 위해.
• 의료 영상 분석에서 일반화 성능 향상을 위해 조작 가능한 성질을 지닌 현실적인 3D 결절을 생성하는 제어 가능한 고해상도 합성 프레임워크를 개발하기 위해.
• 임상 CT 자료를 사용하여 실제 세계의 결절 검출 성능에 대한 합성 결절의 영향을 평가하기 위해.

제안 방법

• 3D 메쉬 정점에 대해 훈련된 조건부 변동 자동차오더(conditional VAE, cVAE)가 현실적인 3D 결절 형태를 생성한다.
• 이미지 분해 네트워크가 객체 패치를 분할 마스크와 강도, 질감 및 기타 잔차 특징을 코딩한 1D 잔차 벡터로 분리한다.
• 해석 네트워크가 분해된 구성 요소에서 객체를 재구성하고 정련 네트워크를 사용해 영상 맥락에 융합한다.
• 최종 단계에서 두 개의 적대적 판별자가 적용되어 합성된 객체의 정교함을 향상시키고 영상 맥락 내 현실성을 확보한다.
• 잔차 벡터는 분할 마스크를 통해 형태를 유지하면서 질감과 외관을 조작할 수 있도록 한다.
• 잔차 벡터의 확률적 샘플링을 통해 무작위 배치, 형태 변화, 크기 조정, 질감 제어가 가능한 프레임워크를 지원한다.

실험 결과

연구 질문

• RQ1 3D CT 영상에서 형태, 크기, 질감, 위치와 같은 제어 가능한 성질을 지닌 현실적인 3D 의료 물체를 생성할 수 있는가?
• RQ2 마스크와 잔차 벡터로 객체를 구조적으로 분해하는 것이 3D 의료 영상에서 효과적이고 조작 가능한 합성에 기여하는가?
• RQ3 이 프레임워크를 통해 생성된 합성 결절을 포함시킬 경우, 후행 분류기인 결절 검출 성능이 향상되는가?
• RQ4 훈련 데이터에 합성 결절이 포함되었을 때와 실제 데이터만 사용했을 때 검출 모델의 성능은 어떻게 달라지는가?
• RQ5 검출이 어려운 합성 샘플을 선택함으로써 검출 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 조작 가능한 잔차 벡터 제어를 통해 다양한 형태, 크기, 질감, 위치를 지닌 현실적인 3D 폐 결절을 성공적으로 생성하였다.
• 실제 데이터와 조합했을 때 합성 결절이 경쟁 성능 지표(CPM)에서 전체 결절 검출 성능을 8.44% 향상시켰다.
• 실제 및 합성 패치에서 샘플링을 수행한 결과, 특히 낮은 분류기 신뢰도와 판별기 출력을 보인 어려운 케이스를 중심으로 검출 성능이 향상되었다.
• 제어 기능이 없고 검출 성능 향상에 기여하지 않는 기존의 베이스라인 인페인팅 접근 방식에 비해 본 방법이 뛰어난 성능을 보였다.
• 질적 평가에서 생성된 결절이 실제 결절과 구별되지 않을 정도로 높은 시각적 정밀도를 달성하였다.
• 한계점으로는 기관지 폐벽 근처에 있는 결절 생성이 어려우며, 복잡한 다성분 또는 다라벨 구조를 처리하지 못하는 점이 있다.