[論文レビュー] MOGAN: Morphologic-structure-aware Generative Learning from a Single Image

Jinshu Chen, Qihui Xu+2 more|arXiv (Cornell University)|Mar 4, 2021

Generative Adversarial Networks and Image Synthesis参考文献 60被引用数 4

ひとこと要約

MOGANは、拡張データと軽量なスタイルインジェクタを活用することで、1つの入力から多様で高品質な画像を生成する形状構造に配慮したGANを提案する。物体の構造を保持しながら外観の変化を可能にし、ROIベースの画像生成において、多様性と現実性の両面で先行研究を上回る優れた性能を達成する。SIFIDやGQIといった定量的指標による検証により裏付けられている。

ABSTRACT

In most interactive image generation tasks, given regions of interest (ROI) by users, the generated results are expected to have adequate diversities in appearance while maintaining correct and reasonable structures in original images. Such tasks become more challenging if only limited data is available. Recently proposed generative models complete training based on only one image. They pay much attention to the monolithic feature of the sample while ignoring the actual semantic information of different objects inside the sample. As a result, for ROI-based generation tasks, they may produce inappropriate samples with excessive randomicity and without maintaining the related objects' correct structures. To address this issue, this work introduces a MOrphologic-structure-aware Generative Adversarial Network named MOGAN that produces random samples with diverse appearances and reliable structures based on only one image. For training for ROI, we propose to utilize the data coming from the original image being augmented and bring in a novel module to transform such augmented data into knowledge containing both structures and appearances, thus enhancing the model's comprehension of the sample. To learn the rest areas other than ROI, we employ binary masks to ensure the generation isolated from ROI. Finally, we set parallel and hierarchical branches of the mentioned learning process. Compared with other single image GAN schemes, our approach focuses on internal features including the maintenance of rational structures and variation on appearance. Experiments confirm a better capacity of our model on ROI-based image generation tasks than its competitive peers.

研究の動機と目的

• 1枚の学習サンプルからの多様で構造的に正確な画像生成という課題に対処すること。特にROIベースのタスクにおいて。
• 従来のGANが画像のパッチを均一に扱うため、生成サンプルに構造的歪みを生じさせるという制限を克服すること。
• 1枚の入力画像の拡張版から得られる形態的・構造的知識を統合することで、サンプル品質を向上させること。
• バイナリマスクと専用のネットワークブランチを用いて、ROIと背景の別々の並列生成を可能にすること。
• 特にインタラクティブ画像生成タスクにおいて、外観の多様性と構造的正確性の両立を、従来の1枚画像GANよりも向上させること。

提案手法

• ROIと背景の生成に別々のブランチを備えた並列で階層的なGANアーキテクチャを提案し、分離された的確な学習を可能にする。
• 元の画像を複数の形（例：回転、クロップ、色調変更）に拡張することで、構造的・形態的パターンを保持した多様なトレーニングデータを合成する。
• 軽量なスタイルインジェクタモジュールを導入し、拡張データからアフィン変換を学習し、生成器にその知識をインジェクションすることで、構造を保持したまま外観の変化を誘導する。
• バイナリマスクを用いてROI領域を分離し、背景ブランチがROI以外の領域のみを生成するように誘導することで、生成の複雑さを低減し、正確性を向上させる。
• ROIブランチに可変コンボリューションとチャネルアテンション層を統合し、特徴表現を強化し、ノイズやアーチファクトを低減する。
• 背景ブランチにゲート付きコンボリューションを採用し、マスクを意味的オブジェクトとして扱うのを防ぎ、適切な背景生成を保証する。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像でトレーニングされたGANは、入力画像内の物体の構造的整合性を保持しながら、多様で高品質なサンプルを生成できるか？
• RQ2 形状に配慮したデータ拡張とスタイルインジェクタの統合は、1枚画像生成における構造的一致性と外観の多様性をどのように向上させるか？
• RQ3 並列ブランチによるROIと背景の分離生成は、生成画像の品質と現実性をどの程度向上させるか？
• RQ4 スタイルインジェクタ、可変コンボリューション、ゲート付きコンボリューションといった個々のモジュールは、多様性と正確性の観点からモデルの性能にどのように影響を与えるか？
• RQ5 提案手法は、特にROIベースの生成タスクにおいて、定量的・定性的な指標の両面で、既存の1枚画像GANを上回ることができるか？

主な発見

• 全画像でトレーニングした場合、MOGANは比較対象モデルの中で最も低いSingle Image Frechet Inception Distance（SIFID）を達成しており、現実性が高く過学習が少ないことを示している。
• ROIのみでトレーニングした場合、MOGANは高い多様性と低いSIFIDを維持しており、過学習や混沌とした生成を示すSinGAN、ConSinGAN、HP-VAE-GANを上回っている。
• 生成品質インデックス（GQI）は、多様性をSIFIDで除算することで算出され、MOGANが最も高い値を示しており、多様性と品質の最適なバランスを達成していることを裏付けている。
• アブレーションスタディの結果、スタイルインジェクタは不可欠であることが確認された。これを削除すると過学習が生じ、多様性が低下する。一方、可変コンボリューションとチャネルアテンションは構造的安定性を向上させる。
• 背景ブランチにおけるゲート付きコンボリューションは、マスクを意味的オブジェクトとして扱うのを防ぎ、正確な背景生成を保証するために不可欠である。
• 定性的な結果から、他のモデルと比較してMOGANは特に編集済み領域やROI領域において、より鋭いエッジと繊細なテクスチャを生成していることが明らかになった。