[论文解读] Dunhuang Grottoes Painting Dataset and Benchmark

Tianxiu Yu, Shijie Zhang+6 more|arXiv (Cornell University)|Jul 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 2被引用 15

一句话总结

本论文介绍了敦煌石窟壁画数据集与基准测试，这是首个用于基于深度学习的古代壁画修复的公开数据集。该数据集包含来自第7窟的500张训练图像和100张测试图像，通过基于随机游走的掩码模拟了合成退化，支持使用DSSIM和LMSE指标对图像修复任务进行评估。

ABSTRACT

This document introduces the background and the usage of the Dunhuang Grottoes Dataset and the benchmark. The documentation first starts with the background of the Dunhuang Grotto, which is widely recognised as an priceless heritage. Given that digital method is the modern trend for heritage protection and restoration. Follow the trend, we release the first public dataset for Dunhuang Grotto Painting restoration. The rest of the documentation details the painting data generation. To enable a data driven fashion, this dataset provided a large number of training and testing example which is sufficient for a deep learning approach. The detailed usage of the dataset as well as the benchmark is described.

研究动机与目标

• 解决利用数据驱动的深度学习方法修复古老且退化的敦煌壁画的挑战。
• 为文化遗产保护中的图像修复提供一个公开可访问的基准数据集。
• 通过可复现的数据增强方法，模拟壁画上真实的老化与腐蚀效应。
• 通过在保留的测试集上使用DSSIM和LMSE指标，实现对修复模型的标准化评估。
• 通过共享的基准平台，促进文化遗产机构与人工智能研究人员之间的合作。

提出的方法

• 该数据集包含来自莫高窟第7窟保存良好但部分退化的壁画的600张高分辨率图像（500–800像素）。
• 采用两阶段方法生成合成退化：首先在256×256画布上通过随机游走生成掩码，每幅掩码执行10,000步；其次将这些掩码缩放并应用于原始图像，生成带掩码的退化图像版本。
• 训练集包含原始图像、损坏区域的二值掩码以及对应的退化图像；测试集仅包含退化图像及其掩码。
• 评估框架使用DSSIM（1 - SSIM）和局部均方误差（LMSE）来衡量修复质量，其中LMSE在大小为0.1×H × 0.1×W的滑动窗口上计算。
• 提交需包含一个ZIP文件，内含100张命名为'out_501.jpg'、'out_502.jpg'等的修复图像，与测试图像索引一一对应。
• 该基准测试托管于云平台，提交结果将通过定义的指标与真实值自动对比评估。

实验结果

研究问题

• RQ1 深度学习模型在修复具有合成真实退化模式的古代壁画方面效果如何？
• RQ2 DSSIM和LMSE指标在多大程度上能可靠量化修复后文化遗产图像的质量？
• RQ3 一个公开可用的、包含部分损坏壁画的多样化数据集，能否实现不同修复模型之间可复现且可比较的性能评估？
• RQ4 损坏区域的分布（例如，佛像、建筑或人物）如何影响修复性能？
• RQ5 用户自定义与基线的合成退化方法对模型泛化能力与评估公平性有何影响？

主要发现

• 该数据集提供来自第7窟的500张训练图像和100张测试图像，图像分辨率高，内容分布均衡，涵盖宗教人物、建筑与装饰纹样。
• 通过随机游走过程生成合成退化，形成非刚性、逼真的损伤模式，每幅掩码执行10,000步。
• 该基准测试使用DSSIM和LMSE作为主要评估指标，以平均DSSIM得分对模型性能进行排名。
• 测试集保持保密；仅发布退化图像与掩码，真实值仅用于服务器端评估。
• 提交格式要求提供一个包含100张命名正确的修复图像（'out_501.jpg'至'out_600.jpg'）的ZIP文件，确保自动化处理与可复现性。
• 本项目由敦煌研究院与微软研究院支持，国际文化遗产与计算机视觉研究者共同参与贡献。