[논문 리뷰] Blind Inpainting of Large-scale Masks of Thin Structures with Adversarial and Reinforcement Learning

Hao Chen, Mario Valerio Giuffrida외 2명|arXiv (Cornell University)|2019. 12. 05.

Remote Sensing and LiDAR Applications참고 문헌 8인용 수 5

한 줄 요약

이 논문은 적대적 훈련과 이중 판별자 설정, 그리고 정책 그래เดียน트를 통한 강화 학습을 활용하여 얇은 구조물의 대규모 이진 분할 마스크에 대한 새로운 블라인드 인painting 방법을 제안한다. 모델은 갭 위치에 대한 사전 지식 없이 지역적 패치 수준의 세부 사항과 전반적인 구조적 일관성을 동시에 최적화함으로써 인간 전문가 수준의 성능을 달성하며, 식물 뿌리 데이터셋에서 인간 전문가와 유사한 결과를 도출한다.

ABSTRACT

Several imaging applications (vessels, retina, plant roots, road networks from satellites) require the accurate segmentation of thin structures for subsequent analysis. Discontinuities (gaps) in the extracted foreground may hinder down-stream image-based analysis of biomarkers, organ structure and topology. In this paper, we propose a general post-processing technique to recover such gaps in large-scale segmentation masks. We cast this problem as a blind inpainting task, where the regions of missing lines in the segmentation masks are not known to the algorithm, which we solve with an adversarially trained neural network. One challenge of using large images is the memory capacity of current GPUs. The typical approach of dividing a large image into smaller patches to train the network does not guarantee global coherence of the reconstructed image that preserves structure and topology. We use adversarial training and reinforcement learning (Policy Gradient) to endow the model with both global context and local details. We evaluate our method in several datasets in medical imaging, plant science, and remote sensing. Our experiments demonstrate that our model produces the most realistic and complete inpainted results, outperforming other approaches. In a dedicated study on plant roots we find that our approach is also comparable to human performance. Implementation available at \url{https://github.com/Hhhhhhhhhhao/Thin-Structure-Inpainting}.

연구 동기 및 목표

• 망막 혈관, 식물 뿌리, 도로 네트워크와 같은 얇은 구조물의 이진 분할 마스크에서 갭이 존재할 경우 후속 분석을 방해하므로, 이러한 갭 메우기 문제를 해결하고자 한다.
• 기존의 비블라인드 인painting 방법과 달리, 모델이 누락 영역의 위치를 사전에 알지 못하는 블라인드 인painting 접근법을 개발하고자 한다.
• 대규모 이미지 처리 시 GPU 메모리 제약을 극복하고자, 패치 기반 훈련을 수행하면서도 전역적 구조 일관성을 유지하기 위해 글로벌 판별자를 활용한다.
• 적대적 훈련과 강화 학습을 통해 지역적 패치 수준의 정밀도와 전역적 구조 일관성을 결합함으로써 인painting 품질을 향상시키고자 한다.
• 의료 영상, 식물 과학, 원격 감지 등 다양한 분야에 대한 일반화 능력을 입증하고, 정량적 및 정성적 검증을 통해 성능을 입증하고자 한다.

제안 방법

• 모델은 대규모 이미지에서 무작위로 컷팅한 패치를 기반으로 한 U-Net 기반 생성자 네트워크를 사용하며, 훈련 중에 인위적인 갭을 삽입한다.
• 지역 판별자(D_L)는 인페인팅된 패치가 진짜 데이터 패치와 얼마나 유사한지 평가하기 위해 훈련된다.
• 글로벌 판별자(D_G)는 전체 이미지의 전반적인 구조 일관성을 평가하기 위해, 완성된 인페인팅된 이미지와 원본(갭이 없는) 이미지를 비교한다.
• 비미분 가능 환경에서 생성자 네트워크를 훈련하기 위해 정책 그래디언트 기반 강화 학습을 적용하여, 무작위 샘플링 및 재조합 과정에서도 생성자와 글로벌 판별자 간의 상호작용을 가능하게 한다.
• 합성 데이터(인위적 갭 포함)와 실제 데이터(실제 갭 포함)의 조합을 통해 훈련함으로써, 실제 세계의 분할 마스크에 대한 일반화 능력을 향상시킨다.
• 최종 모델인 GAN-GL-M은 합성 및 실제 뿌리 데이터를 모두 활용하여 훈련되며, 실제 세계의 단절 현상에 일반화되면서도 고해상도의 인페인팅 성능 유지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 갭 위치를 사전에 알지 못하는 조건에서 대규모 이진 마스크에 대해 효과적으로 블라인드 인페인팅을 수행할 수 있는가?
• RQ2 작은 패치로 훈련하는 조건에서 대규모 이미지 인페인팅 시 전역적 구조 일관성이 어떻게 유지될 수 있는가?
• RQ3 글로벌 판별자를 활용한 강화 학습 기반 훈련 체계가 얇은 구조물의 인페인팅 결과의 현실성과 완전성에 얼마나 기여하는가?
• RQ4 제안된 방법이 식물 뿌리와 같은 복잡한 얇은 구조물의 분할에서 인간 전문가 수준의 성능을 달성할 수 있는가?
• RQ5 훈련 과정에서 합성 데이터와 실제 데이터를 함께 사용할 경우, 실제 세계의 분할 마스크에 대한 일반화 능력과 성능 향상에 기여하는가?

주요 결과

• GAN-GL-M 모델은 실제 뿌리 패치에서 평균 F1 스코어 0.7211 (±0.5970)을 기록하여 모든 베이스라인을 초월하며 전문가 수준의 성능에 근접했다.
• 전체 뿌리 분할 마스크에서 GAN-GL-M은 연결 성분 수를 13.58 (±14.47) 감소시켜 구조적 완전성 향상이 뚜렷하게 나타났다.
• 뿌리 길이 및 볼록 Hull 면적 측정치가 향상되었으며, 볼록 Hull 면적이 인페인팅 결과에서 81.12 (±23.94) 증가하여 분리된 세그먼트가 더 잘 재연결됨을 보여주었다.
• 전문가 애너테이션과 비교했을 때, GAN-GL-M은 뿌리 길이 및 볼록 Hull 면적 측정에서 유사하거나 더 우수한 성능을 보였으며, 일관되고 현실적인 인페인팅이 이루어졌음을 시사했다.
• 글로벌 판별자(D_G)와 정책 그래디언트의 조합은 토폴로지적 구조 유지에 필수적이었으며, 이 조합이 없는 모델은 연결 성분 수가 더 많고 분할된 결과를 생성했다.
• 시각적 및 정량적 평가를 통해 GAN-GL-M은 의료, 식물, 원격 감지 데이터셋 전반에서 가장 현실적이고 완전한 인페인팅 결과를 도출함을 확인했다.