[論文レビュー] Smart, Sparse Contours to Represent and Edit Images

Tali Dekel, Chuang Gan+3 more|arXiv (Cornell University)|Dec 21, 2017

Computer Graphics and Visualization Techniques参考文献 39被引用数 5

ひとこと要約

本稿では、5%程度の画素位置しか使用しないような極めて疎な輪郭入力から高精細な画像を再構築するGANベースの深層学習フレームワークを提案する。学習された意味的事前分布を活用してテクスチャーや詳細を補完することで、直感的な輪郭操作による意味的に整合性のある画像編集を可能にし、人間の評価および顔認識システムの評価において、実画像とほとんど区別がつかない結果を達成する。

ABSTRACT

We study the problem of reconstructing an image from information stored at contour locations. We show that high-quality reconstructions with high fidelity to the source image can be obtained from sparse input, e.g., comprising less than $6\%$ of image pixels. This is a significant improvement over existing contour-based reconstruction methods that require much denser input to capture subtle texture information and to ensure image quality. Our model, based on generative adversarial networks, synthesizes texture and details in regions where no input information is provided. The semantic knowledge encoded into our model and the sparsity of the input allows to use contours as an intuitive interface for semantically-aware image manipulation: local edits in contour domain translate to long-range and coherent changes in pixel space. We can perform complex structural changes such as changing facial expression by simple edits of contours. Our experiments demonstrate that humans as well as a face recognition system mostly cannot distinguish between our reconstructions and the source images.

研究の動機と目的

• 従来の拡散法やエッジベース手法がテクスチャーや詳細を保持できないような、極めて疎な輪郭入力からの高品質な画像再構築の課題に対処すること。
• 輪郭の操作によって直感的かつ意味的に整合性のある画像編集を可能にし、局所的な編集を画素空間における一貫したグローバルな変更に変換すること。
• 顔や犬などの画像ドメインから、輪郭構造とテクスチャの統計的相関を学習し、知覚的に正確な方法で欠落しているコンテンツを想起すること。
• 最小限の入力データで高精度な再構築を達成し、画素の密度を6%未満にまで低減しながら、知覚的および意味的整合性を維持すること。
• 人間の知覚、顔認識システム、テクスチャ統計を用いた評価を通じて、本手法のロバストネスを検証し、既存の輪郭ベース再構築手法を上回ることを示すこと。

提案手法

• 本手法は、GANベースのネットワークを二段階に級列させるアーキテクチャを採用する。最初のネットワークは疎な輪郭特徴から粗い画像構造と色を再構築し、2番目のネットワークは細部のテクスチャを回復する。
• 入力特徴は輪郭位置に格納された勾配情報であり、密な画素データを必要とせずに局所的な画像構造を推定可能である。
• VGG-Faces や Stanford Dogs などのドメイン固有のデータセットを用いて学習することで、輪郭幾何とテクスチャパターン（顔の特徴や毛並みなど）の統計的相関を学習する。
• 2段階目の学習にはGAN損失を用い、リアルなテクスチャ合成を保証する。また、知覚的類似性の定量的評価にはグラム行列に基づくテクスチャ損失を用いる。
• 輪郭の位置・スケールの変更、または参照画像からの輪郭のコピーによって編集が可能であり、生成モデルを介して画素空間に一貫して伝搬される。
• 本システムは二重ストリームアーキテクチャを採用している。一方のストリームは輪郭幾何と勾配データを処理し、もう一方のストリームは潜在変数の条件付けにより高周波数の詳細を生成する。

実験結果

リサーチクエスチョン

• RQ1 6%未満の画素密度の輪郭入力から、細かいテクスチャーや意味的構造を保持した高精細な画像再構築が可能か？
• RQ2 局所的な編集にとどまらず、輪郭ベースの編集が画素空間において一貫性があり意味的に整合性のある変更をもたらす程度はどの程度か？
• RQ3 人間の知覚と自動顔認識システムの両方において、再構築画像は実画像とどの程度同等の性能を示すか？
• RQ4 拡散法やパッチベース手法と比較して、輪郭入力における疎な再構築において、GANベースの生成モデリングが顕著にテクスチャ合成を改善するか？
• RQ5 本モデルの性能は、学習分布とは異なる画像ドメインに適用した場合、どの程度劣化するか？

主な発見

• 本モデルは、画素位置の5%程度の入力からも高精細な再構築を達成し、人間の観察者による誤認別テストでは、実画像と区別がつかない結果を示し、正答率は50%近くに近い。
• FaceNetを用いた顔認識では、3%の輪郭疎度でも顔の同一性が保持されており、L2埋め込み距離が同一人物分類の閾値未満にとどまる。
• GAN損失を用いたHFN（High-Fidelity Network）は、全スパarsityレベルで最も低いテクスチャ損失（グラム行列で測定）を達成し、LFNおよび均一な拡散法を上回る性能を示した。
• 7–15%の低スパarsityでも再構築が極めて正確であり、15%から7%に低下させても性能低下が最小限に抑えられており、高周波数詳細の効果的な回復のおかげである。
• 輪郭操作による編集は一貫性のある結果をもたらす。例えば、眉を動かすと自然な表情の変化が現れ、参照画像からの髪の輪郭をコピーすることでリアルな髪のテクスチャが生成される。
• 本モデルは、学習分布外のドメインに適用した場合に失敗する。例えば、顔モデルを犬の画像に適用すると犬のようなテクスチャが生成され、逆も同様である。これは、ドメイン固有の一般化能力を示している。