[논문 리뷰] Line Drawing Guided Progressive Inpainting of Mural Damage

Luxi Li, Qin Zou외 7명|arXiv (Cornell University)|2022. 11. 12.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 선도를 기반으로 하는 두 단계의 渐진적 복원 방법을 제안한다. 먼저 선도를 활용해 손상된 영역의 구조적 내용을 복원하고, 이후 히스토그램 손실과 색상 보정 네트워크를 통해 색상 일관성을 개선한다. 이 방법은 특히 큰 손상 영역에서 고유한 미술적 정체성을 유지하는 데 있어 최신 기술보다 뛰어난 성능을 보이며, 사용자 연구 결과 평균 점수는 8.42로 Deepfillv2의 7.6보다 높게 나타났다.

ABSTRACT

Mural image inpainting is far less explored compared to its natural image counterpart and remains largely unsolved. Most existing image-inpainting methods tend to take the target image as the only input and directly repair the damage to generate a visually plausible result. These methods obtain high performance in restoration or completion of some pre-defined objects, e.g., human face, fabric texture, and printed texts, etc., however, are not suitable for repairing murals with varying subjects and large damaged areas. Moreover, due to discrete colors in paints, mural inpainting may suffer from apparent color bias. To this end, in this paper, we propose a line drawing guided progressive mural inpainting method. It divides the inpainting process into two steps: structure reconstruction and color correction, implemented by a structure reconstruction network (SRN) and a color correction network (CCN), respectively. In structure reconstruction, SRN utilizes the line drawing as an assistant to achieve large-scale content authenticity and structural stability. In color correction, CCN operates a local color adjustment for missing pixels which reduces the negative effects of color bias and edge jumping. The proposed approach is evaluated against the current state-of-the-art image inpainting methods. Qualitative and quantitative results demonstrate the superiority of the proposed method in mural image inpainting. The codes and data are available at https://github.com/qinnzou/mural-image-inpainting.

연구 동기 및 목표

• 표준 이미지 복원 기법이 구조적 비일관성으로 인해 실패하는 역사적 벽화에서 큰 복잡한 손상 영역을 복원하는 데 도전한다.
• 딥러닝 기반 방법에서 마스크된 영역와 가시 영역 간의 색상 분포가 일관되지 않아 발생하는 색상 편향과 에지 점프 현상을 줄인다.
• 수작업으로 작성된 선도를 구조적 사전 지식으로 활용하여 콘텐츠의 진정성과 원래 벽화의 외관을 향한 복원 과정을 향상시킨다.
• 구조 복원과 색상 보정을 분리한 프로그레시브 프레임워크를 개발하여 시각적 정밀도와 일관성에 대한 제어를 향상시킨다.
• 단순화된 벽화 이미지 복원 데이터셋을 두황모고굴에서 1,714장의 벽화 이미지로 구축하여 기준 설정과 평가를 위한 기반을 마련한다.

제안 방법

• 이 방법은 두 단계의 파이프라인을 사용한다: 첫 번째로, 선도를 조건 입력으로 사용하는 구조 복원 네트워크(SRN)가 손상 영역에 대해 구조적으로 타당한 고수준의 콘텐츠를 생성한다.
• 두 번째로, 색상 보정 네트워크(CCN)가 SRN의 출력을 국소적 색상 조정을 통해 보완하여 색상 편향을 줄이고 톤 일관성을 향상시킨다.
• 입력 영역의 픽셀 분포를 원본 벽화와 일치시키기 위해 히스토그램 손실을 도입하여 큰 구멍 영역에서 세부 사항과 색상 정확성을 향상시킨다.
• CCN은 유사한 구조적 요소 간의 색상 일관성을 유지하기 위해 주의 메커니즘을 통합하고, 공간 일관성을 유지하기 위해 스킵 연결을 활용한다.
• 선도는 정확한 구조적 가이던스를 확보하기 위해 전문 화가가 수작업으로 작성하여 신경망 기반 에지 예측의 정확도 부족 문제를 방지한다.
• 이 프레임워크는 두황모고굴에서 수집한 1,714장의 벽화 이미지 데이터셋을 기반으로 훈련 및 평가되며, 마스크와 해당 선도가 함께 제공된다.

실험 결과

연구 질문

• RQ1 선도가 큰 손상 영역에서 벽화 복원 결과의 구조적 진정성에 크게 기여하는가?
• RQ2 구조 복원과 색상 보정을 분리함으로써 색상 편향을 줄이고 복원 결과의 시각적 일관성을 향상시키는가?
• RQ3 히스토그램 손실의 도입이 큰 누락 영역에서 복원 품질을 어느 정도 향상시키는가?
• RQ4 사용자 선호도와 정량적 지표 측면에서 최신 기술과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 특화된 네트워크를 갖춘 두 단계의 프로그레시브 접근 방식이 문화유산 복원 분야에서 종합적 복원 모델보다 뛰어난 성능을 내는가?

주요 결과

• 제안된 방법은 평균 사용자 평점 8.42점을 기록하여 Deepfillv2(7.6), EdgeConnect(6.31), RFR(3.93)를 뛰어넘어 결과에 대한 강한 선호도를 보였다.
• 제거 실험에서 히스토그램 손실을 제거한 경우 깊은 구멍 영역에서 블러지고 명확하지 않은 질감이 나타나, 이 손실이 세부 사항 복원에 중요함을 확인했다.
• 주의 모듈은 유사한 구조적 요소 간의 색상 일관성을 향상시켜 반복 패턴에서의 시각적 불일치를 줄였다.
• CCN은 특히 복잡한 질감 영역에서 복원 영역과 주변 영역 간의 뚜렷한 색상 차이를 효과적으로 줄였다.
• 스킵 연결은 구조적 통합성과 일관된 색조를 유지하여 최종 출력에서 왜곡을 방지했다.
• 정성적 결과에서는 원본 벽화 스타일, 톤, 전체적인 조화를 유지했으며, 큰 손상 영역에서도 선명하고 완전한 구조를 확보했다.