[論文レビュー] End-to-End Rubbing Restoration Using Generative Adversarial Networks

Gongbo Sun, Zijie Zheng+1 more|arXiv (Cornell University)|May 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、張孟龍碑の書風の美的スタイルを学習することで、欠損した中国の摩刻文字を復元する生成的対抗ネットワーク「RubbingGAN」を提案する。337文字の完全な文字と34文字の欠損文字から構成される新規に収集されたデータセットで訓練されたモデルは、わずかに損傷を受けたものおよび重度に損傷を受けたものにかかわらず、高い忠実度で復元を実現し、MSEおよびFIDスコアによる評価で、ベースラインのGANよりもスタイル転送および画像生成品質で優れている。

ABSTRACT

Rubbing restorations are significant for preserving world cultural history. In this paper, we propose the RubbingGAN model for restoring incomplete rubbing characters. Specifically, we collect characters from the Zhang Menglong Bei and build up the first rubbing restoration dataset. We design the first generative adversarial network for rubbing restoration. Based on the dataset we collect, we apply the RubbingGAN to learn the Zhang Menglong Bei font style and restore the characters. The results of experiments show that RubbingGAN can repair both slightly and severely incomplete rubbing characters fast and effectively.

研究の動機と目的

• 気候や経年劣化による破損が進んでいるが文化的に重要な中国の摩刻文字の復元という課題に対処すること。
• 歴史的摩刻文字に特徴的な芸術的・スタイル的なニュアンスを保持できる深層学習モデルの開発。
• 張孟龍碑の摩刻から得た完全および不完全な文字を含む、摩刻文字復元に特化した初のデータセットの作成。
• 実際の摩刻サンプルからフォントスタイルを学習することで、不完全な文字のエンドツーエンドの復元を可能にすること。
• 歴史的摩刻文字復元という特定のタスクにおいて、既存の画像補完およびスタイル転送手法を上回る性能を発揮すること。

提案手法

• 著者らは、張孟龍碑の摩刻から完全な文字337個とテスト用に75文字を収集し、摩刻文字復元に特化した初のデータセットを構築した。
• 条件付きGANフレームワークを設計し、生成器が不完全な入力画像を条件として張孟龍碑風の文字を合成するように学習する。
• モデルはU-Netベースの生成器とピクセルベースの識別器を用い、トレーニング中に局所的およびグローバルな画像の一貫性を強制する。
• 生成器の訓練目的は、対抗的損失、L1損失、および知覚的損失を組み合わせることで、構造的詳細とスタイルの真正性の両方を保持する。
• ペアドデータ（不完全な文字と完全な文字）を用いてトレーニングを行い、4000〜9800イテレーションにわたり最適化を実施した。
• 復元品質の評価には、スタイル類似度誤差（MSE）、FID、ピクセル単位の差分の可視化を用いた視覚的検査を実施した。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、張孟龍碑のような歴史的中国摩刻文字の独自の芸術的スタイルを効果的に学習し再現できるか？
• RQ2 既存の画像補完手法と比較して、GANベースのアプローチは、わずかに欠損している文字および重度に欠損している文字の両方をどの程度効果的に復元できるか？
• RQ3 モデルは、未学習の不完全な文字に対して、どの程度の範囲でスタイルの一貫性と構造的正確性を保持できるか？
• RQ4 提案されたRubbingGANは、pix2pix や zi2zi といった既存のGANよりも、高忠実度の摩刻風文字を生成できるか？
• RQ5 モデルは、文化的遺産保存の分野における専門家レベルの期待に合致した定量的および定性的な復元性能を達成できるか？

主な発見

• RubbingGANは、スタイル類似度誤差（MSE）が0.0005846を達成し、pix2pix（0.0006128）を上回り、zi2zi（0.0005028）に近づいた。
• FIDスコア204.9481は、pix2pix（218.6381）および zi2zi（270.6007）と比較して優れた画像生成品質を示し、より優れたサンプルの多様性と現実性を裏付けた。
• モデルは、わずかに欠損している文字および重度に欠損している文字の両方を効果的に復元し、視覚的な結果は妥当でスタイル的に一貫した再構築を示した。
• ピクセル単位の差分解析から、生成領域の90％以上が期待される欠損部分と一致しており、強度差が253を超える領域が多数存在した。これは、損傷領域の正確な復元を示している。
• トレーニング中に生成器は安定して収束し、未学習の不完全な文字サンプルに対しても、強固で汎用性の高い性能を示した。
• 本稿で提案するデータセットおよびコードは、https://github.com/qingfengtommy/RubbingGAN で公開されており、再現性および今後の研究を可能にしている。