[논문 리뷰] End-to-End Rubbing Restoration Using Generative Adversarial Networks

Gongbo Sun, Zijie Zheng외 1명|arXiv (Cornell University)|2022. 05. 08.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 장맹롱비 초상서예의 미적 스타일을 학습함으로써 손상된 중국 러빙 문자를 복원하는 생성적 적대적 네트워크인 RubbingGAN을 제안한다. 337개의 완전한 문자와 34개의 손상된 문자로 구성된 새로 수집한 데이터셋을 기반으로 훈련된 모델은 경미한 손상과 심각한 손상 모두를 고 fidelity로 복원하며, MSE 및 FID 점수로 측정된 스타일 전이 및 이미지 생성 품질 측면에서 기준 GAN 모델들을 능가한다.

ABSTRACT

Rubbing restorations are significant for preserving world cultural history. In this paper, we propose the RubbingGAN model for restoring incomplete rubbing characters. Specifically, we collect characters from the Zhang Menglong Bei and build up the first rubbing restoration dataset. We design the first generative adversarial network for rubbing restoration. Based on the dataset we collect, we apply the RubbingGAN to learn the Zhang Menglong Bei font style and restore the characters. The results of experiments show that RubbingGAN can repair both slightly and severely incomplete rubbing characters fast and effectively.

연구 동기 및 목표

• 기후 변화와 노화로 인해 악화되고 있는 문화적으로 중요한 중국 러빙 문자의 복원 문제를 해결하기 위해.
• 역사적 러빙의 고유한 예술적 및 스타일적 특징을 유지할 수 있는 딥 러닝 모델을 개발하기 위해.
• 장맹롱비 러빙에서 온 완전한 문자와 손상된 문자를 포함한 첫 번째 전용 러빙 복원 데이터셋을 구축하기 위해.
• 실제 러빙 샘플에서 글꼴 스타일을 학습함으로써 손상된 문자의 엔드 투 엔드 복원을 가능하게 하기 위해.
• 역사적 러빙 복원이라는 특정 과제에서 기존의 이미지 인painting 및 스타일 전이 방법들을 능가하는 성능을 내기 위해.

제안 방법

• 저자는 장맹롱비 러빙에서 337개의 완전한 문자와 75개의 테스트 문자를 수집하여, 첫 번째 전용 러빙 복원 데이터셋을 구축하였다.
• 조건부 GAN 프레임워크를 설계하였으며, 생성자는 손상된 입력 이미지를 조건으로 하여 장맹롱비 스타일의 문자를 합성하도록 학습한다.
• 모델은 U-Net 기반 생성자와 패치 기반 판별자를 사용하여 훈련 중 국소적 및 전역적 이미지 일관성을 강화한다.
• 모델의 훈련 목표는 적대적 손실, L1 손실, 그리고 인지적 손실을 결합하여 구조적 세부 사항과 스타일적 진실성 모두를 유지한다.
• 모델은 손상된 문자와 완전한 문자의 쌍 데이터를 사용하여 훈련되었으며, 최적화는 4000~9800 반복 동안 수행되었다.
• 복원 품질 평가에는 스타일 유사도 오차(MSE), FID, 픽셀 단위의 차이 분석을 통한 시각적 검토와 같은 지표가 사용되었다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 장맹롱비와 같은 역사적 중국 러빙의 고유한 예술 스타일을 효과적으로 학습하고 재현할 수 있는가?
• RQ2 기존의 이미지 인painting 방법과 비교해 볼 때, GAN 기반 접근법은 경미한 손상과 심각한 손상 모두의 러빙 문자를 얼마나 잘 복원할 수 있는가?
• RQ3 모델은 스타일 일관성과 구조적 정확성을 유지하면서도, 복원되지 않은 손상된 문자에 대해 얼마나 잘 일반화되는가?
• RQ4 제안된 RubbingGAN은 pix2pix 및 zi2zi와 같은 기존 GAN 모델보다 고해상도 러빙 스타일의 문자 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ5 모델은 문화유산 보존의 전문가 수준 기대에 부합하는 정량적 및 정성적 복원 성능을 달성할 수 있는가?

주요 결과

• RubbingGAN은 스타일 유사도 오차(MSE) 0.0005846을 기록하여 pix2pix(0.0006128)를 능가하고, zi2zi(0.0005028)에 가까운 성능을 보였다.
• FID 점수 204.9481은 pix2pix(218.6381)와 zi2zi(270.6007)보다 우수한 이미지 생성 품질을 나타내며, 더 나은 샘플 다양성과 현실성까지 확인하였다.
• 모델은 경미한 손상과 심각한 손상 모두의 문자를 성공적으로 복원하였으며, 결과적으로 자연스럽고 스타일적으로 일관된 재구성 결과를 보였다.
• 픽셀 단위의 차이 분석 결과, 생성된 영역의 90% 이상이 기대되는 손상된 부분과 일치하였으며, 강도 차이가 253를 초과하는 것으로 나타나 손상된 영역의 정확한 복원을 확인하였다.
• 훈련 중 생성자가 안정적으로 수렴하였으며, 복원되지 않은 손상된 문자 샘플에 대해서도 강건성과 일반화 능력을 입증하였다.
• 제안된 데이터셋과 코드는 https://github.com/qingfengtommy/RubbingGAN 에 공개되어 있어 재현성과 향후 연구를 가능하게 하였다.