[論文レビュー] Dunhuang Grottoes Painting Dataset and Benchmark

Tianxiu Yu, Shijie Zhang+6 more|arXiv (Cornell University)|Jul 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 2被引用数 15

ひとこと要約

本論文では、古代洞窟絵画の深層学習ベースの修復を目的とした、Dunhuang Grottoes Painting Dataset and Benchmark を紹介する。これは、深層学習を用いた文化財修復のための最初の公開データセットである。Cave 7 から 500 枚の学習画像および 100 枚のテスト画像を提供し、ランダムウォークベースのマスキングを用いた合成劣化を施しており、画像修復タスクの評価に DSSIM および LMSE メトリクスを用いることが可能である。

ABSTRACT

This document introduces the background and the usage of the Dunhuang Grottoes Dataset and the benchmark. The documentation first starts with the background of the Dunhuang Grotto, which is widely recognised as an priceless heritage. Given that digital method is the modern trend for heritage protection and restoration. Follow the trend, we release the first public dataset for Dunhuang Grotto Painting restoration. The rest of the documentation details the painting data generation. To enable a data driven fashion, this dataset provided a large number of training and testing example which is sufficient for a deep learning approach. The detailed usage of the dataset as well as the benchmark is described.

研究の動機と目的

• データ駆動型の深層学習手法を用いて、古代で劣化した Dunhuang の壁画を修復する課題に取り組むこと。
• 文化財保存における画像修復のための公開可能でアクセス可能なベンチマークデータセットを提供すること。
• 再現可能でデータ拡張に基づく手法を用いて、壁画に現実的な老化や腐食効果を模擬すること。
• ホールドアウトされたテストセットを用いた DSSIM および LMSE メトリクスによる修復モデルの標準化された評価を可能にすること。
• 共有ベンチマークプラットフォームを通じて、文化財機関と AI 研究者との間の協働を促進すること。

提案手法

• データセットは、Mogao Grottoes の Cave 7 の、良好に保存されているが部分的に劣化している壁画から得られた 600 枚の高解像度画像（500–800 px）から構成される。
• 合成劣化は二段階のプロセスで生成される：まず、256×256 のキャンバス上で 10,000 ステップのランダムウォークに基づくマスクを作成し、次にそのマスクをリサイズして元の画像に適用し、損傷領域を付加した劣化画像を生成する。
• 学習セットには元の画像、損傷領域のバイナリマスク、およびそれに対応する劣化画像が含まれる。テストセットには劣化画像とそのマスクのみが含まれる。
• 評価フレームワークでは、DSSIM（1 - SSIM）と局所的 MSE（LMSE）を用いて修復品質を測定し、LMSE はサイズ 0.1×H × 0.1×W のスライディングパッチごとに計算される。
• 提出には、'out_501.jpg'、'out_502.jpg' などの名前で 100 枚の修復画像を含む ZIP ファイルが必要であり、テスト画像のインデックスと一致させる必要がある。
• ベンチマークはクラウドプラットフォーム上にホスティングされており、定義されたメトリクスに従って、サーバー上で真値と照合して自動的に評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、合成的で現実的な劣化パターンを示す古代壁画の修復において、どの程度効果的か？
• RQ2 DSSIM および LMSE メトリクスは、修復された文化財画像の品質を信頼性を持って定量化できるか？
• RQ3 部分的に損傷を受けた壁画の公開可能で多様なデータセットは、異なる修復モデル間での再現可能で比較可能な性能評価を可能にするか？
• RQ4 損傷領域の分布（例：仏像、建築物、人物の描写など）が、修復性能に与える影響は何か？
• RQ5 ユーザー定義の合成劣化手法とベースライン手法の違いが、モデルの汎化性能および評価の公平性に与える影響は何か？

主な発見

• 本データセットは、Cave 7 から 500 枚の学習画像および 100 枚のテスト画像を提供しており、高解像度かつコンテンツバランスの取れたサンプルで、宗教的図像、建築物、装飾モチーフをカバーしている。
• 合成劣化は、非剛体的で現実的な損傷パターンを生成するランダムウォークプロセスを用いて生成され、1 マスクあたり 10,000 ステップである。
• ベンチマークでは DSSIM および LMSE を主な評価メトリクスとして用い、平均 DSSIM スコアを用いてモデルのパフォーマンスを順位付けする。
• テストセットは機密に保たれる。劣化画像とマスクのみが公開され、真値はサーバー上での評価のためのみに使用される。
• 提出形式では、'out_501.jpg' から 'out_600.jpg' まで正しく名前が付けられた 100 枚の修復画像を含む ZIP ファイルが必要であり、自動処理と再現性を保証する。
• 本プロジェクトは Dunhuang Academy および Microsoft Research が支援しており、国際的な文化財およびコンピュータビジョン分野の研究者からの貢献を受けている。