[논문 리뷰] Revisiting CycleGAN for semi-supervised segmentation

Arnab Kumar Mondal, Aniket Agarwal외 2명|arXiv (Cornell University)|2019. 08. 30.

Advanced Neural Network Applications참고 문헌 31인용 수 28

한 줄 요약

이 논문은 레이블이 없는 실제 이미지와 지도 학습 마스크 간의 CycleGAN 기반 사이클 일관성 맵핑을 활용하여 비지도 학습 정규화 요소로 활용하는 새로운 준지도 학습 세그멘테이션 방법을 제안한다. 이미지와 마스크 간 이중 방향 사이클 일관성을 강제함으로써, 세 가지 다양한 벤치마크(PASCAL VOC 2012, Cityscapes, ACDC)에서 레이블 수가 적은 조건에서도 기존 방법 대비 정확도를 2–4% 향상시킨다.

ABSTRACT

In this work, we study the problem of training deep networks for semantic image segmentation using only a fraction of annotated images, which may significantly reduce human annotation efforts. Particularly, we propose a strategy that exploits the unpaired image style transfer capabilities of CycleGAN in semi-supervised segmentation. Unlike recent works using adversarial learning for semi-supervised segmentation, we enforce cycle consistency to learn a bidirectional mapping between unpaired images and segmentation masks. This adds an unsupervised regularization effect that boosts the segmentation performance when annotated data is limited. Experiments on three different public segmentation benchmarks (PASCAL VOC 2012, Cityscapes and ACDC) demonstrate the effectiveness of the proposed method. The proposed model achieves 2-4% of improvement with respect to the baseline and outperforms recent approaches for this task, particularly in low labeled data regime.

연구 동기 및 목표

• 큰 규모의 픽셀 수준의 애너테이션에 의존도를 줄이기 위해 레이블이 없는 데이터를 활용하는 것.
• 의료, 자율 주행, 자연 환경 세그멘테이션 분야에서 레이블 수가 제한된 문제를 해결하는 것.
• CycleGAN의 쌍이 없는 이미지 간 번역 기능이 준지도 학습 세그멘테이션에서 효과적인 비지도 정규화 요소로 활용될 수 있는지 탐색하는 것.
• 다양한 데이터셋을 통해 방법의 일반화 능력을 검증하고 도메인 이동 시나리오를 초월한 적용 가능성을 입증하는 것.
• 손실 아키텍처 내 개별 구성 요소의 기여도를 분석하기 위해 아블레이션 연구를 수행하는 것.

제안 방법

• 이 방법은 레이블이 없는 이미지와 세그멘테이션 마스크 간 이중 방향 맵핑을 가능하게 하기 위해, 두 개의 생성자(G_IS 및 G_SI)와 두 개의 판별자(D_I 및 D_S)를 동시에 훈련시킨다.
• 사이클 일관성은 이미지 복원을 위한 $L_{\text{cycle}}^I$와 마스크 복원을 위한 $L_{\text{cycle}}^S$의 두 손실 항목을 통해 강제로 구현되며, 변환된 이미지와 마스크가 생성자들을 통해 복원될 수 있음을 보장한다.
• 이행적 손실 $L_{\text{disc}}^I$와 $L_{\text{disc}}^S$는 각각 실제 이미지와 생성된 이미지, 실제 마스크와 생성된 마스크를 구분하도록 사용되어 생성 출력의 현실성 향상을 도모한다.
• 완전한 손실 함수는 레이블이 있는 데이터에 대한 지도 학습 교차 엔트로피 손실과 사이클 일관성, 이행적 손실을 결합하여 통합된 훈련 목표를 형성한다.
• 모델은 레이블이 있는 이미지와 진짜 마스크, 레이블이 없는 이미지의 조합을 사용해 엔드 투 엔드로 훈련되며, 짝지어진 이미지-마스크 데이터가 필요로 하지 않는다.
• 성능 기여도 평가를 위해 개별 손실 구성 요소를 제거하는 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 CycleGAN의 사이클 일관성 있는 쌍이 없는 이미지에서 마스크로의 번역 기능을 준지도 학습 세그멘테이션에서 비지도 정규화 요소로 효과적으로 재활용할 수 있는가?
• RQ2 레이블 수가 적은 상황에서 레이블이 없는 이미지와 세그멘테이션 마스크 간의 사이클 일관성을 강제로 적용하면 일반화 성능가 어떻게 향상되는가?
• RQ3 이미지 수준과 마스크 수준의 사이클 일관성 및 이행적 손실이 전체 성능에 미치는 상대적 기여도는 어떠한가?
• RQ4 제안된 방법은 의료 영상, 자율 주행, 자연 환경 세그멘테이션과 같은 다양한 세그멘테이션 작업에 일반화되는가?
• RQ5 낮은 샘플 수 학습 환경에서 기존의 GAN 기반 및 비-GAN 기반 준지도 학습 세그멘테이션 접근법과 비교해 볼 때 모델 성능은 어떠한가?

주요 결과

• 레이블이 있는 데이터가 20%에 불과한 상황에서도 제안된 방법이 지도 학습 기반 모델 대비 mIOU에서 2–4% 향상되어 낮은 데이터 환경에서도 뛰어난 성능을 보였다.
• PASCAL VOC 2012 데이터셋에서 레이블이 20%일 경우, 모델은 mIOU 0.2981을 달성하여 전체 지도 학습 기반 모델과 Hung 등(2023)의 방법을 모두 앞서는 성능을 보였다.
• 아블레이션 연구 결과, 마스크 사이클 일관성 손실($L_{\text{cycle}}^S$)을 제거할 경우 성능 저하가 가장 심각했으며(mIOU 0.2627로 감소), 이는 정확한 의미 정보 유지에 있어 핵심적인 역할을 함을 시사한다.
• 이미지 판별자 손실($L_{\text{disc}}^I$)은 마스크 판별자 손실보다 더 중요한 역할을 하는 것으로 밝혀졌으며, 이를 생략할 경우 아블레이션 실험에서 가장 낮은 mIOU(0.2543)를 기록했다.
• 시각적 비교 결과, 저해상도 이미지를 사용하는 경우조차도 제안된 방법이 기존 방법보다 더 우수한 전반적인 의미적 구조와 미세한 오브제트(예: 다리, 사람)의 세부 정보를 유지하는 것으로 나타났다.
• 이 방법은 데이터셋에 종속되지 않으며 자연 환경(VOC), 도시 주행(Cityscapes), 심장 MRI(ACDC)의 세 가지 서로 다른 도메인에서 효과적으로 작동함을 입증하여 광범위한 적용 가능성을 확인했다.