[論文レビュー] Light-weight pixel context encoders for image inpainting

Nanne van Noord, Eric Postma|arXiv (Cornell University)|Jan 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 5

ひとこと要約

本論文では、畳み込みの拡張率を用いてダウンサンプリングを行わず、空間的解像度とコンテキストを保持する軽量な画像補完モデルであるピクセルコンテントエンコーダー（PCE）を紹介する。このモデルは、従来のモデルと比較して10倍少ないパラメータ数で、自然画像および絵画において最先端の性能を達成する。アーキテクチャにより、大規模な欠損領域の高精度な生成が可能となり、アーキテクチャの変更なしに画像の外挿にも一般化可能である。

ABSTRACT

In this work we propose Pixel Content Encoders (PCE), a light-weight image inpainting model, capable of generating novel con-tent for large missing regions in images. Unlike previously presented convolutional neural network based models, our PCE model has an order of magnitude fewer trainable parameters. Moreover, by incorporating dilated convolutions we are able to preserve fine grained spatial information, achieving state-of-the-art performance on benchmark datasets of natural images and paintings. Besides image inpainting, we show that without changing the architecture, PCE can be used for image extrapolation, generating novel content beyond existing image boundaries.

研究の動機と目的

• 高空間的解像度とコンテキスト認識を維持する軽量な画像補完モデルの開発。
• 大規模な欠損領域における性能を維持しつつ、モデルの複雑さとパラメータ数を低減すること。
• 同一の柔軟なアーキテクチャを用いて、欠損または拡張された画像領域における新規コンテンツの高品質な生成を可能にすること。
• 同じモデルを補完と画像外挿の両方のタスクに使用できるかどうかの可能性を検討すること。
• ImageNet や PaintersN のような多様なデータセットにわたるデータに依存しない一般化性能を示すこと。

提案手法

• モデルは、ダウンサンプリングを行わず受容 field を拡大するための拡張畳み込みを用い、エンコーダー全体で完全な空間的解像度を維持する。
• 生成領域における局所的およびグローバルな知覚的一致性を強制するために、PatchGAN識別器が使用される。
• エンコーダーは、増加する拡張率を持つスタックされた拡張畳み込み層を経由して入力画像を処理し、マルチスケールのコンテキストを捉える。
• ボトルネック圧縮を回避することで、補完におけるローカル一貫性に不可欠な細粒度の空間的詳細を維持する。
• 生成品質とピクセル単位の正確性の両立を図るため、敵対的損失とL1再構成損失を用いてエンドツーエンドで訓練する。
• 中心領域をマスクし、周囲のバンドを再構築するように訓練することで、補完タスクの逆転として画像外挿を実現する。

実験結果

リサーチクエスチョン

• RQ1 軽量なCNNベースの補完モデルは、従来のモデルと比較して著しく少ないパラメータ数で最先端の性能を達成できるか？
• RQ2 拡張畳み込みの使用により、大規模な欠損領域における空間的詳細およびローカル一貫性がより良く保持されるか？
• RQ3 同じアーキテクチャが、自然画像や絵画など多様な画像ドメインに再訓練なしに一般化できるか？
• RQ4 このモデルは、標準的な補完を越えて画像外挿タスクにどの程度適応可能か？
• RQ5 あるデータセットで学習したモデルが、別のデータセットで評価された際にも性能が安定しているか？

主な発見

• PCEは、ImageNet および PaintersN ベンチマークデータセットの両方で最先端の性能を達成し、RMSE および PSNR の両指標で従来のモデルを上回った。
• ImageNet データセットでは、PCEは画像外挿タスクにおいてPSNRが18.08、RMSEが31.81を達成し、強力な一般化性能を示した。
• PaintersN データセットでは、PCEはPSNRが17.92、RMSEが32.39を達成し、芸術的スタイルにわたる一貫性ある性能を示した。
• 従来のモデルと比較して10倍少ないパラメータ数であるにもかかわらず、PCEはすべての評価ベンチマークで性能を維持または上回った。
• 画像外挿タスクにおいて、PCEは画像境界を超えて現実的でコンテキスト的に整合性のあるコンテンツを効果的に生成した。
• クロスデータセット評価では、あるドメイン（例：ImageNet）で学習したモデルが、別のドメイン（例：PaintersN）に対しても良好に一般化された。これは、コンテキストをデータに依存しない形で学習している可能性を示唆している。