[논문 리뷰] Towards semi-supervised segmentation via image-to-image translation

Eugene Vorontsov, Pavlo Molchanov외 7명|arXiv (Cornell University)|2019. 04. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 약한 레이블(예: 질병 유무)과 세그멘테이션 마스크 간의 이미지 간 이미지 변환을 활용하여, 제한된 픽셀 수준의 애너테이션으로도 성능을 향상시키는 준지도 학습 세그멘테이션 프레임워크를 제안한다. 번역 및 세그멘테이션 작업 간에 인코더와 디코더를 공유하고 도메인 특화된 변형을 선택적으로 모델링함으로써, 이 방법은 MRI에서 뇌 종양 세그멘테이션에서 뚜렷한 성능 향상을 이루었으며, 표준 자동에코 기반 준지도 학습 접근법을 능가한다.

ABSTRACT

In many cases, especially with medical images, it is prohibitively challenging to produce a sufficiently large training sample of pixel-level annotations to train deep neural networks for semantic image segmentation. On the other hand, some information is often known about the contents of images. We leverage information on whether an image presents the segmentation target or whether it is absent from the image to improve segmentation performance by augmenting the amount of data usable for model training. Specifically, we propose a semi-supervised framework that employs image-to-image translation between weak labels (e.g., presence vs. absence of cancer), in addition to fully supervised segmentation on some examples. We conjecture that this translation objective is well aligned with the segmentation objective as both require the same disentangling of image variations. Building on prior image-to-image translation work, we re-use the encoder and decoders for translating in either direction between two domains, employing a strategy of selectively decoding domain-specific variations. For presence vs. absence domains, the encoder produces variations that are common to both and those unique to the presence domain. Furthermore, we successfully re-use one of the decoders used in translation for segmentation. We validate the proposed method on synthetic tasks of varying difficulty as well as on the real task of brain tumor segmentation in magnetic resonance images, where we show significant improvements over standard semi-supervised training with autoencoding.

연구 동기 및 목표

• 의료 영상 세그멘테이션에서 특히 MRI에서 제한된 픽셀 수준의 애너테이션 문제를 해결하기 위해.
• 목표의 존재 또는 부재와 같은 약한 감독 신호를 활용하여 세그멘테이션 성능을 향상시키기 위해.
• 공유된 인코더-디코더 아키텍처를 통해 이미지 간 이미지 변환과 세그멘테이션을 통합하기 위해.
• 약한 레이블과 세그멘테이션 마스크 간의 변환이 의미 있는 자기지도 신호로 기능할 수 있는지 탐색하기 위해.

제안 방법

• 모두의 존재 및 부재 도메인에서 공통적인 특징을 추출하기 위해 공유 인코더를 사용하며, 존재 클래스의 도메인 특화된 특징도 함께 활용한다.
• 두 개의 디코더를 사용한다: 하나는 존재/부재 레이블에서 이미지로의 번역을 위한 것이고, 다른 하나는 이미지에서 세그멘테이션 마스크로의 번역을 위한 것이다.
• 형태적 일致성을 강제하기 위해, 약한 레이블과 세그멘테이션 마스크 간에 사이클 일관성 기반 GAN 기반의 이미지 간 이미지 변환 네트워크를 학습한다.
• 주요 특징을 유지하기 위해 주의 메커니즘 또는 스킵 연결을 사용하여 도메인 특화된 변형을 선택적으로 디코딩한다.
• 번역 브랜치에서 유래한 세그멘테이션 디코더를 재사용함으로써 파라미터 공유와 공동 최적화를 가능하게 한다.
• 번역 및 세그멘테이션 목표를 통합된 학습 목표로 통합하여, 특징 분리 및 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 약한 레이블(유무)과 세그멘테이션 마스크 간의 이미지 간 이미지 변환이 준지도 학습 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 번역 및 세그멘테이션 작업 간의 공유 표현 학습이 특징 분리에 어떻게 기여하는가?
• RQ3 제안된 방법이 자동에코 기반 준지도 학습보다 의료 영상 세그멘테이션에서 성능이 뛰어나게 되는가?
• RQ4 번역 및 세그멘테이션 목표 간의 정렬이 특징 학습 측면에서 모델 성능에 얼마나 기여하는가?
• RQ5 이 프레임워크는 합성 및 실제 의료 영상 작업 모두에 일반화 가능한가?

주요 결과

• 제안된 방법은 표준 자동에코 기반 준지도 학습에 비해 MRI에서 뇌 종양 세그멘테이션에서 뚜렷한 성능 향상을 이룬다.
• 완전히 애너테이션된 학습 샘플이 매우 소수일 때조차도 세그멘테이션 정확도가 향상되어 높은 데이터 효율성을 보여준다.
• 번역 및 세그멘테이션 작업의 공동 학습은 콘텐츠 특징과 도메인 특화된 특징의 분리에 더 효과적이다.
• 번역 브랜치에서 유래한 세그멘테이션 디코더를 재사용함으로써 파라미터 수가 감소하고 학습 안정성이 향상된다.
• 다양한 난이도의 합성 작업에 대해서도 모델이 잘 일반화되어, 강건성과 확장성의 가능성을 확인한다.
• 제거 실험을 통해 사이클 일관성 기반 번역 목표가 성능 향상에 기여한다는 것이 확인되었다.