[논문 리뷰] GAN Mask R-CNN:Instance semantic segmentation benefits from generativeadversarial networks

Quang Hoai Le, Kamal Youcef‐Toumi외 2명|arXiv (Cornell University)|2020. 10. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 마스크 R-CNN에 통합하여 마스크 예측을 GAN 게임으로 재정의하는 새로운 인스턴스 세분화 프레임워크인 GAN 마스크 R-CNN을 제안한다. 여기서 생성자는 마스크를 생성하고, 판별자는 진짜 마스크와 생성된 마스크를 구분한다. 이로 인해 모델은 마스크 품질을 향상시키는 학습된 적대적 손실을 갖게 되며, 경계 정확도, 혼잡한 환경, 미세한 디테일 등에서 표준 마스크 R-CNN을 초월한다. 아키텍처 변경 없이 다양한 도메인에서 성능 향상을 이룬다.

ABSTRACT

In designing instance segmentation ConvNets that reconstruct masks, segmentation is often taken as its literal definition -- assigning label to every pixel -- for defining the loss functions. That is, using losses that compute the difference between pixels in the predicted (reconstructed) mask and the ground truth mask -- a template matching mechanism. However, any such instance segmentation ConvNet is a generator, so we can lay the problem of predicting masks as a GANs game framework: We can think the ground truth mask is drawn from the true distribution, and a ConvNet like Mask R-CNN is an implicit model that infers the true distribution. Then, designing a discriminator in front of this generator will close the loop of GANs concept and more importantly obtains a loss that is trained not hand-designed. We show this design outperforms the baseline when trying on, without extra settings, several different domains: cellphone recycling, autonomous driving, large-scale object detection, and medical glands. Further, we observe in general GANs yield masks that account for better boundaries, clutter, and small details.

연구 동기 및 목표

• 예측 마스크와 진짜 마스크 간의 픽셀 단위 차이에 의존하는 수작업 손실 함수의 한계를 해결하기 위해.
• 마스크 R-CNN와 같은 인스턴스 세분화 모델의 생성자 성질이 GAN 프레임워크 내에서 활용되어 마스크 품질을 향상시킬 수 있는지 탐색하기 위해.
• 기존의 재구성 손실을 대체하거나 보완하는 적대적 손실을 도입하여 일반화 능력 향상과 디테일 보존을 향상시키는 훈련 철학을 개발하기 위해.
• 의료 영상, 자율주행, 산업 물체 검출을 포함한 다양한 실제 도메인에서 이 GAN 기반 접근의 효과를 평가하기 위해.

제안 방법

• 인스턴스 세분화를 GAN 게임으로 재정의: 마스크 R-CNN 모델이 마스크를 생성하는 생성자 역할을 하며, 판별자는 진짜 진짜 마스크와 생성된 마스크를 구분한다.
• 판별자의 피드백을 수작업으로 설계하지 않은 학습된 손실 신호로 사용하여 생성자(마스크 R-CNN)를 훈련시키며, 기존의 픽셀 단위 재구성 손실을 대체하거나 보완한다.
• 생성자와 판별자를 적대적으로 훈련시키며, 생성자는 판별자가 자신의 출력을 진짜로 판단하도록 속이려는 목표를 가진다.
• 기존 마스크 R-CNN의 아키텍처를 변경하지 않고 GAN 프레임워크를 통합하여 원래 모델의 구조와 추론 파이프라인을 유지한다.
• 역전파 동안 실제 데이터셋의 진짜 마스크와 생성자가 생성한 가짜 마스크를 기반으로 판별자를 훈련시킨다.
• 훈련 중에 적대적 손실을 적용하여 마스크 경계 정확도 향상, 혼잡한 환경에 대한 내성 향상, 미세한 디테일 포착 능력 향상을 도모한다.

실험 결과

연구 질문

• RQ1 마스크 R-CNN와 같은 인스턴스 세분화 모델의 생성자 성질이 GAN 프레임워크 내에서 효과적으로 활용되어 성능 향상에 기여할 수 있는가?
• RQ2 기존의 픽셀 단위 손실 함수를 적대적 손실로 대체하거나 보완하면 인스턴스 세분화에서 마스크 품질이 향상되는가?
• RQ3 이 GAN 기반 훈련 철학은 의료 샘플, 자율주행, 산업 물체 검출과 같은 다양한 도메인에서 어떻게 성능을 발휘하는가?
• RQ4 적대적 손실이 정확한 경계 예측 능력과 작은 물체 또는 혼잡한 환경에서의 처리 능력을 향상시키는가?
• RQ5 기존 마스크 R-CNN 파이프라인에 아키텍처 변경 없이도 GAN 프레임워크를 통합할 수 있는가?

주요 결과

• GAN 마스크 R-CNN 프레임워크는 스마트폰 재활용, 자율주행, 대규모 물체 검출, 의료 샘플 세분화 등 다양한 도메인에서 표준 마스크 R-CNN을 뛰어넘는 성능을 보였다.
• 적대적 손실 덕분에 경계 정확도 향상과 혼잡한 환경, 작은 물체 처리 능력 향상이 뚜렷하게 향상되었다.
• 아키텍처 변경 없이도 추가 하이퍼파라미터 튜닝 없이도 뛰어난 성능을 달성하여 GAN 통합의 일반화 능력을 입증했다.
• 판별자의 피드백은 수작업으로 설계된 픽셀 단위 손실보다 더 강력하고 의미론적으로 풍부한 손실 신호를 제공한다.
• 다양한 실제 도메인 데이터셋에서 일관되게 디테일 보존 능력과 구조적 일관성 향상 측면에서 마스크 품질이 향상되었다.