[논문 리뷰] Semantic Segmentation by Improved Generative Adversarial Networks

Zengshun Zhaoa, Yulong Wang외 4명|arXiv (Cornell University)|2021. 04. 20.

Advanced Neural Network Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 전통적인 CRF 후처리를 캐스케이드된 ConvCRF로 강화된 전면 컨volutional 판별자로 대체하는 개선된 GAN 프레임워크인 Seg-GAN을 제안한다. 적대적 손실과 분할 손실을 함께 최적화함으로써 엔드 투 엔드 학습이 가능해지고, 세부 사항 보존 성능이 향상되어 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

While most existing segmentation methods usually combined the powerful feature extraction capabilities of CNNs with Conditional Random Fields (CRFs) post-processing, the result always limited by the fault of CRFs . Due to the notoriously slow calculation speeds and poor efficiency of CRFs, in recent years, CRFs post-processing has been gradually eliminated. In this paper, an improved Generative Adversarial Networks (GANs) for image semantic segmentation task (semantic segmentation by GANs, Seg-GAN) is proposed to facilitate further segmentation research. In addition, we introduce Convolutional CRFs (ConvCRFs) as an effective improvement solution for the image semantic segmentation task. Towards the goal of differentiating the segmentation results from the ground truth distribution and improving the details of the output images, the proposed discriminator network is specially designed in a full convolutional manner combined with cascaded ConvCRFs. Besides, the adversarial loss aggressively encourages the output image to be close to the distribution of the ground truth. Our method not only learns an end-to-end mapping from input image to corresponding output image, but also learns a loss function to train this mapping. The experiments show that our method achieves better performance than state-of-the-art methods.

연구 동기 및 목표

• 조건부 무작위 필드(CRFs)가 세분화 결과 후처리에 있어 비효율성과 한계를 보이는 문제를 해결하기 위해.
• 딥 생성 모델을 활용해 CRF 기반 정밀화의 더 빠르고 효과적인 대안을 개발하기 위해.
• ConvCRFs를 GAN 프레임워크에 통합하여 분할 정확도와 세밀한 세부 사항 보존 성능을 향상시키기 위해.
• 예측된 분할 맵이 진짜 레이블 분포와 더 잘 일치하도록 하는 분포 일치를 향상시키기 위해 적대적 손실을 포함한 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• GAN 기반 분할에서 기존의 CRF 후처리를 대체하는 전면 컨볼루션 판별자 네트워크를 제안한다.
• 분할 맵의 국소 일관성과 윤곽 세부 사항을 향상시키기 위해 판별자에 캐스케이드된 ConvCRFs를 통합한다.
• 생성된 분할 맵이 진짜 레이블의 분포와 유사하도록 유도하기 위해 적대적 손실을 활용한다.
• 생성자와 판별자를 동시에 엔드 투 엔드 방식으로 학습시켜 매핑과 손실 함수를 동시에 학습한다.
• 입력 이미지에 조건부로 분할 마스크를 생성하는 조건부 GAN 설정을 사용한다.
• 생성자를 최적화하기 위해 분할 손실(예: 교차 엔트로피)과 적대적 손실을 모두 활용한다.

실험 결과

연구 질문

• RQ1 CRF 후처리를 효과적으로 대체할 수 있는 GAN 기반 프레임워크는 세분화 정확도와 추론 속도를 향상시킬 수 있는가?
• RQ2 판별자 아키텍처에 ConvCRFs를 통합할 경우 분할 출력의 품질과 세부 사항에 어떤 영향을 미치는가?
• RQ3 적대적 학습은 예측된 분할 맵이 진짜 레이블 분포와 얼마나 잘 일치하는가를 향상시키는가?
• RQ4 적대적 손실과 분할 손실을 함께 사용한 엔드 투 엔드 학습은 기존의 두 단계적 접근 방식에 비해 뛰어난 성능을 내는가?

주요 결과

• 제안된 Seg-GAN은 표준 세분화 벤치마크에서 최신 기술을 초월하는 성능을 달성한다.
• 판별자에 캐스케이드된 ConvCRFs를 통합함으로써 윤곽선과 경계의 세부 사항 보존 성능이 뛰어나다.
• CRF 후처리 단계를 제거함으로써 추론 속도가 크게 향상되었고, 정확도는 유지 또는 향상되었다.
• 적대적 손실 구성 요소가 생성자에게 더 현실적이며 진짜 레이블 분포에 가까운 분할 맵을 생성하도록 효과적으로 유도한다.