[논문 리뷰] Image Inpainting with External-internal Learning and Monochromic Bottleneck

Tengfei Wang, Hao Ouyang외 1명|arXiv (Cornell University)|2021. 04. 19.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 색상 복원과 구조 복원을 분리하기 위해 단색 블로킹을 사용하는 외부-내부 학습 프레임워크를 제안한다. 대규모 데이터셋에서 회색조로 손실 영역을 먼저 재구성한 후, 테스트 이미지의 통계 자료만을 사용하여 渐진적인 내부 색조화 네트워크를 적용함으로써, 색상 번짐 등의 아티팩트를 줄이고 여러 벤치마크에서 구조 일관성과 시각적 품질을 향상시킨다.

ABSTRACT

Although recent inpainting approaches have demonstrated significant improvements with deep neural networks, they still suffer from artifacts such as blunt structures and abrupt colors when filling in the missing regions. To address these issues, we propose an external-internal inpainting scheme with a monochromic bottleneck that helps image inpainting models remove these artifacts. In the external learning stage, we reconstruct missing structures and details in the monochromic space to reduce the learning dimension. In the internal learning stage, we propose a novel internal color propagation method with progressive learning strategies for consistent color restoration. Extensive experiments demonstrate that our proposed scheme helps image inpainting models produce more structure-preserved and visually compelling results.

연구 동기 및 목표

• 딥러닝 기반 이미지 인painting에서 지속적인 아티팩트, 예를 들어 색상 번짐과 뚜렷하지 않은 구조를 해결하기 위해.
• 큰 구멍이 있는 인painting 시나리오에서 시각적 품질과 구조 일관성을 향상시키기 위해.
• 외부 미리학습(일반화 능력)과 내부 자기지도 학습(로컬 색상 일관성)의 장점을 통합한 유일한 프레임워크를 구축하기 위해.
• 사용자 가이드 색상 제어와 높은 마스크 비율에서도 강건성을 확보하기 위해.
• 구조적 변경 없이 다양한 백본 모델과 데이터셋에 일반화하기 위해.

제안 방법

• 이 방법은 단색 블로킹을 사용한다: 입력 이미지는 먼저 대규모 데이터셋에서 학습된 외부 학습 네트워크를 통해 회색조로 재구성된다.
• 구조 재구성은 1차원 색상 공간(R)에서 수행되어 최적화 복잡도를 낮추고 구조 정확도를 향상시킨다.
• 새로운 내부 색상 전파 네트워크는 단일 테스트 이미지의 통계 자료만을 사용하여 색상을 복원하며, 색상 번짐을 방지하기 위해 내부 통계를 활용한다.
• 진행적 복원 전략은 국소 및 전역 색상 통계를 조합하여 색상 일관성을 향상시키고 딱딱한 경계를 줄인다.
• 색조화 손실은 오직 마스킹되지 않은 영역에서 계산되며, 원본 이미지의 색상 분포에 대한 충실도를 보장한다.
• 이 프레임워크는 기존 모델과 수직적 관계를 유지하며, GatedConv, EdgeConnect, HiFill, GMCNN 등에 적용하여 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 단색 공간에서의 훈련이 이미지 인painting에서 구조 보존에 기여하는가?
• RQ2 테스트 이미지의 통계 자료만을 사용하는 내부 색상 전파가 아티팩트를 줄이고 시각적 조화를 향상시키는가?
• RQ3 국소 및 전역 통계를 기반으로 한 점진적 색상 복원 전략이 시각적 품질 향상과 아티팩트 감소에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 다양한 데이터셋과 마스크 유형에서 기존 딥러닝 기반 인painting 모델을 얼마나 향상시킬 수 있는가?
• RQ5 사용자 가이드 색상 힌트를 내부 색조화 과정에 효과적으로 통합할 수 있는가? 특히 상호작용 편집에 있어.

주요 결과

• 제안된 방법은 Places2, Paris StreetView, CelebA-HQ, DTD의 네 가지 공개 데이터셋에서 일관된 시각적 품질 향상을 달성한다.
• 도전적인 Places2 데이터셋에서, 이 방법은 비정형 마스크에서 PSNR 39.50을 기록하여 최신 색조화 기준보다 뛰어난 성능을 보였다.
• 73.4%의 높은 마스크 비율에서도 내부 색조화 네트워크가 눈에 띄는 아티팩트 없이 조화로운 결과를 생성한다.
• 단절 실험 결과에 따르면 점진적 복원 전략이 필수적임을 확인했다. 이 전략이 없을 경우 딱딱한 경계와 눈에 띄는 아티팩트가 발생한다.
• GatedConv, EdgeConnect, HiFill, GMCNN 등의 베이스라인 모델이 정량적·정성적 지표에서 모두 향상되었다.
• 사용자 가이드 색조화는 가능하다: 단 한 개의 색상 힌트를 추가함으로써 사용자는 생성된 콘텐츠의 색상을 제어할 수 있으며, 얼굴 인painting에서 눈동자 색상을 변경하는 데도 효과적이다.