[논문 리뷰] Dunhuang Grottoes Painting Dataset and Benchmark

Tianxiu Yu, Shijie Zhang외 6명|arXiv (Cornell University)|2019. 07. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 15

한 줄 요약

이 논문은 딥러닝 기반 고대 벽화 복원을 위한 첫 번째 공개 데이터셋인 당황고굴 벽화 데이터셋 및 벤치마크를 소개한다. 당황고굴 7번굴에서 촬영한 500장의 훈련 이미지와 100장의 테스트 이미지를 제공하며, 무작위 보행 기반 마스킹을 통한 합성 열화를 적용하여 이미지 복원 작업의 평가가 DSSIM 및 LMSE 지표를 사용해 가능하도록 한다.

ABSTRACT

This document introduces the background and the usage of the Dunhuang Grottoes Dataset and the benchmark. The documentation first starts with the background of the Dunhuang Grotto, which is widely recognised as an priceless heritage. Given that digital method is the modern trend for heritage protection and restoration. Follow the trend, we release the first public dataset for Dunhuang Grotto Painting restoration. The rest of the documentation details the painting data generation. To enable a data driven fashion, this dataset provided a large number of training and testing example which is sufficient for a deep learning approach. The detailed usage of the dataset as well as the benchmark is described.

연구 동기 및 목표

• 데이터 기반 딥러닝 방법을 활용해 오래된 손상된 당황고굴 벽화를 복원하는 데 도전하는 것.
• 문화유산 보존을 위한 이미지 복원 분야에서 공개 가능한 벤치마크 데이터셋을 제공하는 것.
• 재현 가능한 데이터 증강 기반 방법을 사용해 현실적인 노화 및 부식 효과를 시뮬레이션하는 것.
• 보류된 테스트 세트를 사용해 DSSIM 및 LMSE 지표를 통한 표준화된 복원 모델 평가를 가능하게 하는 것.
• 공동 벤치마크 플랫폼을 통해 문화유산 기관과 AI 연구자 간의 협업을 촉진하는 것.

제안 방법

• 데이터셋은 모가오굴 7번굴의 잘 보존된 부분적으로 손상된 벽화에서 유래한 고해상도 이미지 600장(500–800 px)으로 구성되어 있다.
• 합성 열화를 생성하기 위해 이중 단계 방법을 사용한다: 첫째, 10,000단계의 무작위 보행 기반 마스크를 256×256 캔버스에 생성한다; 둘째, 이러한 마스크를 크기 조정하여 원본 이미지에 적용하여 손상된 버전을 생성한다.
• 훈련 세트는 원본 이미지, 손상 영역의 이진 마스크, 해당 손상된 이미지를 포함한다; 테스트 세트에는 손상된 이미지와 마스크만 포함되어 있다.
• 평가 프레임워크는 복원 품질을 측정하기 위해 DSSIM(1 - SSIM)과 국소 MSE(LMSE)를 사용하며, LMSE는 크기 0.1×H × 0.1×W의 슬라이딩 패치를 기반으로 계산된다.
• 제출은 'out_501.jpg', 'out_502.jpg' 등으로 이름이 지정된 100장의 복원 이미지가 담긴 ZIP 파일 형식이어야 하며, 테스트 이미지 인덱스와 정확히 일치해야 한다.
• 벤치마크는 클라우드 플랫폼에 호스팅되어 있으며, 제출된 결과는 정의된 지표를 사용해 지정된 기준값과 자동으로 평가된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 합성된 현실적인 열화 패턴을 가진 고대 벽화 복원에 얼마나 효과적인가?
• RQ2 DSSIM 및 LMSE 지표는 복원된 문화유산 이미지의 품질을 얼마나 신뢰성 있게 정량화할 수 있는가?
• RQ3 부분적으로 손상된 벽화의 공개 가능하고 다양한 데이터셋은 다양한 복원 모델 간의 재현 가능하고 비교 가능한 성능 평가를 가능하게 하는가?
• RQ4 손상 영역의 분포(예: 불상, 건축물, 인물 등)가 복원 성능에 어떤 영향을 미치는가?
• RQ5 사용자 정의 vs. 기본 기반의 합성 열화 방법이 모델 일반화 및 평가 공정성에 어떤 영향을 미치는가?

주요 결과

• 데이터셋은 7번굴에서 유래한 500장의 훈련 이미지와 100장의 테스트 이미지를 제공하며, 고해상도이고 콘텐츠가 균형 잡힌 샘플로 종교적 인물, 건축물, 장식 무늬를 포함한다.
• 합성 열화는 비탄성적이고 현실적인 손상 패턴을 생성하는 무작위 보행 프로세스를 통해 생성되며, 마스크당 10,000단계의 스텝을 거친다.
• 벤치마크는 DSSIM 및 LMSE를 주요 평가 지표로 사용하며, 평균 DSSIM 점수를 사용해 모델 성능 순위를 매긴다.
• 테스트 세트는 기밀 유지되며, 오직 손상된 이미지와 마스크만 공개되고, 기준값은 서버 측 평가에만 사용된다.
• 제출 형식은 100개의 정확히 이름이 지정된 복원 이미지('out_501.jpg'부터 'out_600.jpg'까지)가 포함된 ZIP 파일이어야 하며, 이는 자동 처리 및 재현 가능성을 보장한다.
• 이 프로젝트는 당황박물관과 마이크로소프트 리서치가 후원하며, 문화유산 및 컴퓨터 비전 분야의 국제 연구자들이 기여하고 있다.