[논문 리뷰] Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes

Liang Liao, Jing Xiao외 3명|arXiv (Cornell University)|2020. 03. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 10

한 줄 요약

이 논문은 구조적 사전 지식과 이미지 콘텐츠를 구조적 세분화와 이미지 복원 간의 다중 척도적 상호작용을 통해 계층적이고 다단계적으로 개선하는 의미 인식 이미지 복원 프레임워크인 SGE-Net을 제안한다. 세분화 신뢰도 점수를 활용하여 복원을 안내하고 평가함으로써, 명확한 경계와 사진처럼 사실적인 질감을 가진 혼합 장면에서 우수한 성능을 달성하며, 실제 데이터셋에서 최신 기술을 능가한다.

ABSTRACT

Completing a corrupted image with correct structures and reasonable textures for a mixed scene remains an elusive challenge. Since the missing hole in a mixed scene of a corrupted image often contains various semantic information, conventional two-stage approaches utilizing structural information often lead to the problem of unreliable structural prediction and ambiguous image texture generation. In this paper, we propose a Semantic Guidance and Evaluation Network (SGE-Net) to iteratively update the structural priors and the inpainted image in an interplay framework of semantics extraction and image inpainting. It utilizes semantic segmentation map as guidance in each scale of inpainting, under which location-dependent inferences are re-evaluated, and, accordingly, poorly-inferred regions are refined in subsequent scales. Extensive experiments on real-world images of mixed scenes demonstrated the superiority of our proposed method over state-of-the-art approaches, in terms of clear boundaries and photo-realistic textures.

연구 동기 및 목표

• 혼합 장면에서 다수의 의미 영역을 포함하는 상황에서 신뢰할 수 있는 의미적 구조 및 질감 생성 문제를 해결하기 위해.
• 손상된 입력에서 신뢰할 수 없는 구조적 또는 의미적 예측에 의존하는 이단계 방법의 한계를 극복하기 위해.
• 의미 지침과 신뢰도 평가를 통해 세분화 지apap과 복원된 이미지 양측의 반복적 정밀 조정을 가능하게 하여 이미지 복원 품질을 향상시키기 위해.
• 세분화 신뢰도 점수가 복원된 영역의 정밀도 평가에 신뢰할 수 있는 지표로 기능할 수 있음을 검증하기 위해.
• 세분화와 복원의 공동 최적화가 전통적인 복원 후 세분화 파이프라인보다 우수한 성능을 내는지 보여주기 위해.

제안 방법

• SGE-Net은 이미지 복원과 의미 세분화가 네 단계의 다중 척도에서 반복적으로 정밀 조정되는 계층적이고 다단계 프레임워크를 사용한다.
• 각 척도에서 모델은 현재의 세분화 지도를 공간적으로 인식된 가이드로 활용하여 복원 품질을 햖थ다. 이 과정에서 위치 기반의 추론 재평가가 수행된다.
• 세분화 신뢰도 점수는 세분화 헤드에서 계산되며, 이후 척도에서 잘못 추론된 영역을 식별하고 정밀 조정하는 데 사용된다.
• 모델은 더러운 척도에서 더 선명한 척도로의 불확실성 전파 메커니즘을 사용하여, 구조와 질감 양측의 신뢰도를 향상시킨다.
• 이 프레임워크는 이미지 생성과 의미 세분화를 공동 최적화하여 순차적 파이프라인에서 흔히 발생하는 오류 전파를 방지한다.
• 픽셀 단위의 신뢰도 점수는 불신뢰할 수 있는 픽셀 맵을 생성하며, 이는 반복적 정밀 조정을 안내하고 복원 품질의 대체 지표로 기능한다.

실험 결과

연구 질문

• RQ1 의미 세분화와 이미지 복원 간의 반복적 공동 정밀 조정이 혼합 장면에서의 구조적 및 질감 생성 신뢰도를 향상시킬 수 있는가?
• RQ2 세분화 신뢰도 점수가 잘못 추론된 영역을 효과적으로 식별하고 복원 정밀 조정을 안내할 수 있는가?
• RQ3 세분화와 복원의 공동 최적화가 복원 후 세분화와 같은 순차적 접근 방식보다 우수한 성능을 낼 수 있는가?
• RQ4 학습 중 초기 의미 주석의 품질이 SGE-Net의 성능에 어떻게 영향을 미치는가?
• RQ5 신뢰도 점수와 실제 복원 정밀도 간의 상관관계는 L1 손실을 기준으로 진정으로 높은가?

주요 결과

• SGE-Net은 혼합 장면 복원에서 최신 기술을 능가하는 성능을 달성하며, 기존 방법보다 더 선명한 경계와 더 사실적인 질감을 가진 이미지를 생성한다.
• 의미 세분화를 동적이고 척도 기반 가이드로 활용함으로써, 의미 경계에서의 아티팩트와 질감의 모호함을 줄였다.
• 세분화 신뢰도 점수는 진짜 이미지와의 L1 손실과 강한 상관관계를 보이며, 복원된 콘텐츠의 정밀도를 평가하는 데 유용한 지표로 기능한다는 것을 확인했다.
• 자동으로 생성된 세분화 지도(예: DPN 및 Deeplab v3+)를 사용하여 학습하더라도 SGE-Net은 강력한 성능을 유지하며, PSNR에서 소폭의 감소(Outdoor Scenes에서 20.19 대비 20.53)를 보였다.
• SGE-Net은 복원 후 세분화 베이스라인보다 의미 세분화 정확도에서 뛰어난 성능을 보이며, 더 선명한 객체 경계와 더 일관된 의미 할당을 생성한다.
• 반복적 정밀 조정 메커니즘이 빛나는 영역에서의 복원 품질을 크게 향상시켰으며, 시각적 비교와 신뢰도 점수 맵을 통해 이를 입증했다.