[논문 리뷰] Synthetic data for unsupervised polyp segmentation

Enric Moreu, Kevin McGuinness외 1명|arXiv (Cornell University)|2022. 02. 17.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 3D 렌더링과 CycleGAN 기반 도메인 적응을 통해 생성된 합성 데이터를 사용하여 완전히 비지도 학습된 폴립 세분화 방법을 제안하며, 의료 전문가의 레이블이 전혀 필요 없이도 실제 데이터셋에서 경쟁적인 성능을 달성한다. 주요 기여는 깊이 및 3D 메시 레이블이 포함된 20,000장의 합성 데이터셋인 Synth-Colon으로, 제한된 실제 데이터로도 최신 기술 수준의 성능을 달성할 수 있도록 한다.

ABSTRACT

Deep learning has shown excellent performance in analysing medical images. However, datasets are difficult to obtain due privacy issues, standardization problems, and lack of annotations. We address these problems by producing realistic synthetic images using a combination of 3D technologies and generative adversarial networks. We use zero annotations from medical professionals in our pipeline. Our fully unsupervised method achieves promising results on five real polyp segmentation datasets. As a part of this study we release Synth-Colon, an entirely synthetic dataset that includes 20000 realistic colon images and additional details about depth and 3D geometry: https://enric1994.github.io/synth-colon

연구 동기 및 목표

• 폴립 세분화 분야에서 개인정보 보호, 표준화 및 전문가 레이블링의 한계로 인한 레이블이 부족한 의료 영상 데이터 문제를 해결한다.
• 실제 의료 레이블에 의존하지 않는 완전히 비지도 학습 파이프라인을 개발한다.
• 3D 렌더링과 GAN 기반 도메인 적응을 활용해 정확한 폴립 세분화 마스크를 포함한 고해상도 합성 대장내시경 이미지를 생성한다.
• 합성 데이터가 실제 폴립 세분화 벤치마크에서 경쟁적인 성능을 달성할 수 있음을 입증하며, 특히 데이터가 적은 환경에서는 일부 지도 학습 방법을 초월함을 보여준다.
• 깊이 및 3D 기하학 정보를 포함한 최대 규모의 합성 폴립 세분화 데이터셋인 Synth-Colon을 공개한다.

제안 방법

• 가변적인 해부학적 및 기하학적 파rameter를 가진 3D 렌더링 엔진을 사용하여 합성된 대장 및 폴립 구조를 생성한다.
• 3D 엔진 내부의 기하학적 구조와 공간 관계를 기반으로 자동으로 폴립에 대한 지도 레이블 세분화 마스크를 생성한다.
• 실제 대장내시경 이미지로의 도메인 이동을 위해 CycleGAN을 적용하며, 실수의 데이터셋에서만 실제 이미지를 사용한다.
• 실제 인간 레이블이 전혀 없는 현실적인 합성 이미지와 자동 생성된 세분화 마스크를 기반으로 HarDNeT-MSEG 모델을 학습한다.
• 합성 도메인과 실제 도메인 간의 차이를 최소화하고 현실감을 향상시키기 위해, 병합된 데이터셋이 아닌 타겟 데이터셋의 실제 이미지만을 사용해 CycleGAN을 최적화한다.
• 대부분의 도메인 적응 과정에서 자가 생성된 세분화 레이블을 유지하기 위해, 적대적 학습을 통해 합성 및 실제 이미지 분포를 정렬한다.

실험 결과

연구 질문

• RQ1 의료 전문가의 레이블 없이도 합성 데이터를 사용하여 폴립 세분화 모델을 학습할 수 있는가?
• RQ2 CycleGAN을 통한 도메인 적응은 합성 폴립 이미지를 실제 대장내시경 도메인으로 효과적으로 전이할 수 있는가?
• RQ3 합성 데이터만으로도 실제 폴립 세분화 벤치마크에서 완전 지도 학습 방법과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 제한된 실제 데이터가 존재할 경우, 비지도 학습 합성 접근법의 성능는 어떻게 변화하는가?
• RQ5 깊이 및 3D 메시 레이블이 포함된 합성 데이터는 폴립 세분화 및 깊이 추정과 같은 후속 작업에 도움이 될 수 있는가?

주요 결과

• 제안된 비지도 학습 방법은 CVC-T에서 평균 Dice 스코어 0.703, ColonDB에서 0.521, Kvasir에서 0.759를 기록하여 인간 전문가의 레이블 없이도 뛰어난 성능을 보였다.
• Kvasir 데이터셋에서, CycleGAN 학습에 오직 다섯 장의 실제 이미지만을 사용했을 때도, 50장 이하의 실제 이미지가 사용된 지도 학습 모델인 HarDNeT-MSEG를 능가하는 Dice 스코어 0.642를 달성했다.
• Synth-Colon으로 학습된 모델은 CVC-T 및 Kvasir 데이터셋에서 몇몇 완전 지도 학습 기반 모델을 능가했으며, 도메인 적응을 통한 합성 데이터의 효과성을 입증했다.
• 합성 도메인과 실제 도메인 간의 차이를 줄이기 위해, 병합된 데이터셋이 아닌 타겟 전용 실제 이미지로 CycleGAN을 학습함으로써 더 높은 성능을 달성했으며, 이는 도메인 특화 적응의 중요성을 시사한다.
• 공개된 데이터셋인 Synth-Colon은 깊이 맵과 3D 메시(OBJ 형식)를 포함한 20,000장의 합성 대장 이미지와 해당 세분화 마스크를 포함하여 의료 영상 연구 분야에서 광범위하게 활용 가능하다.
• 모델은 도메인 이동 과정 동안 자가 생성된 세분화 레이블을 성공적으로 유지하여 인간 레이블 없이도 현실적인 합성 데이터 기반 신뢰할 수 있는 학습을 가능하게 했다.