[論文レビュー] Line Drawing Guided Progressive Inpainting of Mural Damage

Luxi Li, Qin Zou+7 more|arXiv (Cornell University)|Nov 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本論文は、線画をガイドとして用いる2段階のプログレッシブインpainting手法を提案し、壁画修復のための構造的コンテンツの再構築と、ヒストグラム損失および色補正ネットワークによる色の整合性の向上を実現する。この手法は、特に大規模な損傷領域に対して、壁画の真正性を顕著に保ち、最先端の手法を上回る性能を示し、ユーザースタディーでは平均スコア8.42（Deepfillv2は7.6）を記録した。

ABSTRACT

Mural image inpainting is far less explored compared to its natural image counterpart and remains largely unsolved. Most existing image-inpainting methods tend to take the target image as the only input and directly repair the damage to generate a visually plausible result. These methods obtain high performance in restoration or completion of some pre-defined objects, e.g., human face, fabric texture, and printed texts, etc., however, are not suitable for repairing murals with varying subjects and large damaged areas. Moreover, due to discrete colors in paints, mural inpainting may suffer from apparent color bias. To this end, in this paper, we propose a line drawing guided progressive mural inpainting method. It divides the inpainting process into two steps: structure reconstruction and color correction, implemented by a structure reconstruction network (SRN) and a color correction network (CCN), respectively. In structure reconstruction, SRN utilizes the line drawing as an assistant to achieve large-scale content authenticity and structural stability. In color correction, CCN operates a local color adjustment for missing pixels which reduces the negative effects of color bias and edge jumping. The proposed approach is evaluated against the current state-of-the-art image inpainting methods. Qualitative and quantitative results demonstrate the superiority of the proposed method in mural image inpainting. The codes and data are available at https://github.com/qinnzou/mural-image-inpainting.

研究の動機と目的

• 標準的な画像インpaintingが構造的非一貫性のため失敗する、歴史的壁画における大規模で複雑な損傷領域の修復という課題に対処すること。
• 深層学習ベースの手法がマスク領域と可視領域間の色分布の不一致に起因して生じる色バイアスやエッジジャンプを低減すること。
• 手作業で作成された線画を構造的事前知識として活用し、コンテンツ真正性を向上させ、元の壁画の外観に沿ったインpaintingプロセスをガイドすること。
• 構造再構築と色補正を分離するプログレッシブフレームワークを構築し、視覚的忠実度と整合性の制御を向上させること。
• ベンチマークと評価のため、敦煌莫高窟の壁画画像から1,714枚のインパルス画像データセットを構築すること。

提案手法

• 本手法は2段階のパイプラインを採用する：まず、構造再構築ネットワーク（SRN）が線画を条件入力として用い、損傷領域の構造的に妥当な高レベルのコンテンツを生成する。
• 次に、色補正ネットワーク（CCN）がSRNの出力を精緻化し、局所的な色調整を施して色バイアスを低減し、トーンの整合性を向上させる。
• インペイント領域の画素分布を元の壁画と一致させるためにヒストグラム損失を導入し、大規模な穴領域における詳細と色の正確性を向上させる。
• CCNはアテンションメカニズムを組み込み、類似した構造的要素間の色の整合性を維持するとともに、スキップ接続により空間的整合性を保つ。
• 線画は、神経的エッジ予測の不正確さを避けるために、熟練した画家によって手作業で作成された。
• 本フレームワークは、敦煌莫高窟の1,714枚の壁画画像から構築された新規データセットを用いて訓練および評価された。このデータセットにはマスクと対応する線画が含まれる。

実験結果

リサーチクエスチョン

• RQ1 線画は、特に大規模な損傷領域において、壁画インペイント結果の構造的真正性を顕著に向上させるか？
• RQ2 構造再構築と色補正を分離することで、壁画インペイントにおける色バイアスが低減され、視覚的整合性が向上するか？
• RQ3 ヒストグラム損失の導入が、大規模な欠損領域におけるインペイント品質にどの程度向上効果をもたらすか？
• RQ4 ユーザーの好みと定量的指標の観点から、本手法は最先端の手法と比較してどのように差をつけるか？
• RQ5 構造用と色用に専用のネットワークを備えた2段階のプログレッシブアプローチは、文化的遺産修復分野において、エンドツーエンドのインペイントモデルを上回る性能を発揮するか？

主な発見

• 提案手法は平均ユーザー評価で8.42を達成し、Deepfillv2（7.6）、EdgeConnect（6.31）、RFR（3.93）を顕著に上回り、結果に対する強い好まれ方を示した。
• アブレーションスタディにより、ヒストグラム損失を除去した場合、深く大きな穴領域でぼやけた、定義の曇ったテクスチャが生じることが確認され、詳細回復におけるこの損失の重要性が浮き彫りになった。
• アテンションモジュールにより、類似した構造的要素間の色の整合性が向上し、繰り返しパターンにおける視覚的不整合が低減された。
• CCNは、特に複雑なテクスチャを持つ領域で、インペイント領域と周囲の領域との間の顕著な色の違いを効果的に低減した。
• スキップ接続は、構造的整合性と一貫した色調を維持するのに役立ち、最終出力における歪みを防いだ。
• 定性的な結果から、本手法は元の壁画のスタイル、トーン、全体の調和を保持しており、大規模な損傷領域であっても明瞭で完全な構造を再現した。