[論文レビュー] SRGAN: Training Dataset Matters

Nao Takano, Gita Alaghband|arXiv (Cornell University)|Mar 24, 2019

Advanced Image Processing Techniques参考文献 21被引用数 15

ひとこと要約

本論文は、超解像タスクにおけるSRGANの性能に与えるトレーニングデータセット選択の影響を調査する。多様なデータセットで学習させることで、モデルは単にエッジを鋭くするのではなく、正確な形状、色、テクスチャを再構築するよう学習し、ドメイン関連のデータで学習した場合に優れた結果を達成する。これは、FIDスコアの向上によって裏付けられている。

ABSTRACT

Generative Adversarial Networks (GANs) in supervised settings can generate photo-realistic corresponding output from low-definition input (SRGAN). Using the architecture presented in the SRGAN original paper [2], we explore how selecting a dataset affects the outcome by using three different datasets to see that SRGAN fundamentally learns objects, with their shape, color, and texture, and redraws them in the output rather than merely attempting to sharpen edges. This is further underscored with our demonstration that once the network learns the images of the dataset, it can generate a photo-like image with even a slight hint of what it might look like for the original from a very blurry edged sketch. Given a set of inference images, the network trained with the same dataset results in a better outcome over the one trained with arbitrary set of images, and we report its significance numerically with Frechet Inception Distance score [22].

研究の動機と目的

• トレーニングデータセットの構成が、SRGANが写真のようにリアルな画像を生成する能力に与える影響を調査すること。
• SRGANがトレーニングデータから構造的・意味的コンテンツを学習するのか、それとも単に画像のシャープネスを向上させるだけなのかを特定すること。
• FID などの定量的指標を用いて、データセットの関連性が再構築品質に与える影響を評価すること。
• 関連するデータセットで学習した後、非常にぼやけたスケッチからも、SRGANが現実的で信憑性のある出力を生成できることを示すこと。

提案手法

• 一般化性と再構築品質を比較するために、3つの異なるデータセットを用いてSRGANを学習した。
• 実験間でのモデル挙動の一貫性を保つために、元のSRGANアーキテクチャを用いた。
• 画像生成品質の標準指標であるFrechet Inception Distance (FID) を用いて性能を評価した。
• ぼやけたスケッチを入力として推論を実施し、モデルが現実的で信憑性のある出力を生成できるかをテストした。
• ドメイン固有のデータセットで学習したモデルと、任意の画像コレクションで学習したモデルの結果を比較した。
• 定性的および定量的な出力を分析し、モデルがオブジェクトの意味的特徴を学習しているのか、それとも単にエッジ強調をしているのかを評価した。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータセットの選択が、SRGANが生成する画像のリアリズムと忠実度にどのように影響するか？
• RQ2 SRGANは、オブジェクトの形状・色・テクスチャを再構築するのを学習しているのか、それとも主にエッジ強調をしているのか？
• RQ3 関連するデータセットで学習した後、非常にぼやけたスケッチといった最小限の入力情報から、SRGANは写真のようにリアルな出力を生成できるか？
• RQ4 ドメイン固有のデータでSRGANを学習した場合と、ランダムな画像コレクションで学習した場合とを比較して、画像品質に顕著な改善が見られるか？
• RQ5 データセットの関連性が、超解像タスクにおけるFIDスコアの低減とどの程度相関しているか？

主な発見

• ドメイン関連のデータセットで学習したモデルは、任意の画像コレクションで学習したモデルと比較して、はるかにリアルで詳細な画像を生成した。
• ぼやけたスケッチからの生成結果によって、SRGANが単にエッジを鋭くするのではなく、オブジェクトの形状・色・テクスチャを再構築するのを学習していることが裏付けられた。
• 関連するトレーニングデータセットを使用した場合、FIDスコアが顕著に向上し、画像品質の定量的優位性が示された。
• 非常にぼやけたスケッチのような最小限の入力情報でさえ、一貫したデータセットで学習した後、モデルは信憑性があり写真のようにリアルな出力を生成できた。
• モデルの未学習入力への一般化能力は、トレーニングデータの多様性と関連性に強く依存していた。
• 結果から、データセット選択がSRGANを用いた高品質な超解像結果を達成する上で極めて重要な要因であることが確認された。