[논문 리뷰] LC-GAN: Image-to-image Translation Based on Generative Adversarial Network for Endoscopic Images

Shan Lin, Fangbo Qin외 4명|arXiv (Cornell University)|2020. 03. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 4

한 줄 요약

이 논문은 생성적 적대적 네트워크 기반의 조건부 이미지-이미지 번역 모델인 LC-GAN을 제안한다. 이 모델은 라벨이 부여된 시체 데이터셋과 라벨이 없는 라이브 수술 영상만을 사용하여 교차 도메인 수술 기구 세그멘테이션을 가능하게 한다. 두 개의 서로 다른 아키텍처를 가진 생성기와 사전 훈련된 백본을 사용하여 라이브 영상을 가짜 시체 영상으로 변환하고, 구조적 유사도 손실 및 세그멘테이션 일致성 손실을 도입함으로써 의미적 정합성을 향상시킨다. LC-GAN은 CycleGAN 대비 15.1–19.4% 높은 mDSC와 17.9–22.9% 높은 mIoU를 달성하여, 라이브 수술 세그멘테이션에서 수동 라벨링의 필요성을 크게 줄였다.

ABSTRACT

Intelligent vision is appealing in computer-assisted and robotic surgeries. Vision-based analysis with deep learning usually requires large labeled datasets, but manual data labeling is expensive and time-consuming in medical problems. We investigate a novel cross-domain strategy to reduce the need for manual data labeling by proposing an image-to-image translation model live-cadaver GAN (LC-GAN) based on generative adversarial networks (GANs). We consider a situation when a labeled cadaveric surgery dataset is available while the task is instrument segmentation on an unlabeled live surgery dataset. We train LC-GAN to learn the mappings between the cadaveric and live images. For live image segmentation, we first translate the live images to fake-cadaveric images with LC-GAN and then perform segmentation on the fake-cadaveric images with models trained on the real cadaveric dataset. The proposed method fully makes use of the labeled cadaveric dataset for live image segmentation without the need to label the live dataset. LC-GAN has two generators with different architectures that leverage the deep feature representation learned from the cadaveric image based segmentation task. Moreover, we propose the structural similarity loss and segmentation consistency loss to improve the semantic consistency during translation. Our model achieves better image-to-image translation and leads to improved segmentation performance in the proposed cross-domain segmentation task.

연구 동기 및 목표

• 수술 기구 세그멘테이션에서 라이브 수술 내 endoscopic 영상의 비용이 많이 드는 수동 라벨링의 필요성을 줄이기 위해.
• 라벨이 시체 도메인에서만 제공되는 바이오메트릭 및 라이브 내 endoscopic 수술 영상 간의 도메인 이동 문제를 해결하기 위해.
• 제약 조건이 부여된 GAN 훈련을 통해 내 endoscopic 영상 도메인 간의 이미지 번역 과정에서 의미적 일치성을 향상시키기 위해.
• 생성적 적대적 이미지 번역을 통해 라벨이 부여된 시체 데이터셋에서 라벨이 없는 라이브 수술 데이터셋으로의 전이 학습을 가능하게 하기 위해.
• 이미지 번역을 활용한 훈련 데이터 증강의 가능성을 입증하고 수술 훈련 및 로봇 보조 시스템 지원에 기여하기 위해.

제안 방법

• LC-GAN은 서로 다른 아키텍처를 가진 두 개의 생성기(예: DeepLabV3+와 같은 사전 훈련된 백본을 사용한 것)를 활용하여 시체 도메인의 특징 표현을 향상시킨다.
• 모델은 시체 및 라이브 수술 영상에서의 실제 이미지 쌍이 없는 상태에서 훈련되며, 수정된 CycleGAN 프레임워크를 사용한다.
• 이미지 번역 과정에서의 구조적 왜곡을 최소화하고 공간적 및 형태 일치성을 유지하기 위해 구조적 유사도 손실($\mathcal{L}_{SSim}$)이 도입된다.
• 실제 시체 영상과 그에 대응하는 변환된 가짜 시체 영상 간의 세그멘테이션 예측을 일치시키기 위해 세그멘테이션 일치성 손실($\mathcal{L}_{seg}$)이 적용된다.
• 실제 시체 데이터셋에서 훈련된 세그멘테이션 헤드를 변환된 가짜 시체 영상에 적용하여 라이브 수술 영상에서의 추론을 수행한다.
• 전체 손실 함수는 적대적 손실, 사이클 일관성 손실, 구조적 유사도 손실, 세그멘테이션 일치성 손실을 조합하여 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 시체와 라이브 내 endoscopic 수술 영상 간의 이미지-이미지 번역이 라벨이 없는 라이브 수술 데이터에 대한 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 두 개의 시각적으로 다를 수 있는 수술 영상 도메인 간의 번역 과정에서 구조적 및 의미적 일치성을 어떻게 유지할 수 있는가?
• RQ3 기본적인 GAN과 비교할 때 사전 훈련된 백본과 추가적인 일치성 손실을 통합함으로써 번역 및 세그멘테이션 품질이 얼마나 향상되는가?
• RQ4 제안된 방법은 고성능을 유지하면서도 라이브 수술 기구 세그멘테이션에서 수동 라벨링의 필요성을 줄일 수 있는가?
• RQ5 LC-GAN의 성능은 CycleGAN과 같은 기준 GAN 및 기타 도메인 적응 방법과 비교해 볼 때 교차 도메인 세그멘테이션에서 어떻게 나타나는가?

주요 결과

• LC-GAN은 라이브 수술 세그멘테이션 작업에서 CycleGAN 대비 평균 DSC(mDSC)가 15.1%에서 19.4% 높고, mIoU는 17.9%에서 22.9% 높게 달성하였다.
• 절단 실험 결과, 제안된 세 가지 구성 요소—백본 특징 추출기, 구조적 유사도 손실, 세그멘테이션 일치성 손실—모두 수렴성과 성능 향상에 뚜렷한 기여를 하였으며, 병합 사용 시 0.2%에서 2.2%의 추가 성능 향상이 있었다.
• 제안된 모듈 중 어느 것도 포함하지 않은 경우, 네트워크가 훈련 예산 내에서 수렴하지 못하여 도입된 손실과 아키텍처의 필수성을 입증하였다.
• LC-GAN은 공유 잠재 공간 가정에 기인한 문제로 도메인 이동에 취약한 UNIT 및 MUNIT보다 뛰어난 성능을 보였다. 특히 기구와 조명 조건이 다를 수 있는 장면에서 두드러진 성능 차이를 보였다.
• 라벨이 부여된 라이브 데이터로 직접 훈련한 성능(2.8–9.3% 낮은 mDSC)보다는 낮지만, 라이브 데이터 라벨링이 비현실적인 상황에서 LC-GAN의 교차 도메인 전략은 실용적인 대안을 제공한다.
• 이 방법은 기존에 존재하는 라벨이 부여된 시체 데이터를 효과적으로 활용하여 라이브 수술 세그멘테이션에 적용함으로써, 라벨링 부담을 줄이면서도 임상적으로 유의미한 정확도를 유지한다.