[論文レビュー] Generating unseen complex scenes: are we there yet?

Arantxa Casanova, Michal Drozdzal+1 more|arXiv (Cornell University)|Dec 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 13

ひとこと要約

本論文は、複雑なシーン条件付き生成モデルを評価するための標準化された手法を提案し、学習データへの適合性、見未曾ざしの細分化された条件付け（新しいレイアウトにおける既知のオブジェクト）への一般化、および見未曾ざしの粗い条件付け（未知のオブジェクトの組み合わせ）への一般化の能力を評価する。主な貢献は、インスタンス単位の空間正規化、シーングラフの知覚的類似度損失、高品質なマスク生成が、両方のタイプの未知の条件付けに対して強靱性を著しく向上させることを同定したことである。新規の最先端モデルは、すべての一般化シナリオにおいてFIDスコアを低く抑え、最先端の性能を達成した。

ABSTRACT

Although recent complex scene conditional generation models generate increasingly appealing scenes, it is very hard to assess which models perform better and why. This is often due to models being trained to fit different data splits, and defining their own experimental setups. In this paper, we propose a methodology to compare complex scene conditional generation models, and provide an in-depth analysis that assesses the ability of each model to (1) fit the training distribution and hence perform well on seen conditionings, (2) to generalize to unseen conditionings composed of seen object combinations, and (3) generalize to unseen conditionings composed of unseen object combinations. As a result, we observe that recent methods are able to generate recognizable scenes given seen conditionings, and exploit compositionality to generalize to unseen conditionings with seen object combinations. However, all methods suffer from noticeable image quality degradation when asked to generate images from conditionings composed of unseen object combinations. Moreover, through our analysis, we identify the advantages of different pipeline components, and find that (1) encouraging compositionality through instance-wise spatial conditioning normalizations increases robustness to both types of unseen conditionings, (2) using semantically aware losses such as the scene-graph perceptual similarity helps improve some dimensions of the generation process, and (3) enhancing the quality of generated masks and the quality of the individual objects are crucial steps to improve robustness to both types of unseen conditionings.

研究の動機と目的

• 複雑なシーン条件付き生成における標準化された評価の欠如を是正し、公平な比較とモデル性能の理解を妨げる要因を解消すること。
• モデルが学習分布にどの程度適合し、既知および未知のオブジェクトの組み合わせを含む未知の条件付けにどの程度一般化できるかを体系的に評価すること。
• 特にゼロショットシーン生成において一般化を向上させるアーキテクチャ的およびトレーニング的要因を同定すること。
• 条件付けモality、データ分割、評価指標といったキーファクターを分離できる再現可能なベンチマーク手法を提供すること。

提案手法

• 3つの異なるテストセット（既知の条件付け（S）、未知の細分化された条件付け（Su）、未知の粗い条件付け（Su²））を用いた統一された評価フレームワークを提案し、制御された比較を可能にする。
• 生成器にインスタンス単位の空間正規化を導入し、構成的一般化を促進し、オブジェクトレベルの強靭性を向上させる。
• 生成画像を正解のシーングラフと一致させるためのシーングラフ知覚的類似度損失（SG）を導入し、条件付けの一貫性を向上させる。
• 高品質な正解マスク（GT）と予測マスクを条件付け入力として用い、マスクの忠実度が一般化に与える影響を評価する。
• ISLAベースのモデルに対して、マスク監視、正規化、シーングラフモジュールの有無を比較する広範なアブレーションスタディを実施する。
• FID、精度、再現率、F1、一貫性、およびシーンおよびオブジェクトレベルの正答率といった指標を用い、すべての条件付けにおいて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の複雑なシーン生成モデルは、既知の条件付けから学習分布に適合し、認識可能なシーンをどの程度生成できるか？
• RQ2 既知のオブジェクトの組み合わせから構成される未知の条件付け（未知のレイアウト）に対して、モデルはどの程度一般化できるか？
• RQ3 完全に未知のオブジェクトの組み合わせからなる条件付け（ゼロショット一般化）からシーンを生成する際、モデルの性能はどの程度か？
• RQ4 正規化、マスク品質、または意味的損失といったモデルのどのコンponentsが、未知の条件付けへの一般化を最も著しく向上させるか？

主な発見

• 最近のモデルは、既知の条件付けから認識可能なシーンを生成できるが、特に長尾オブジェクトクラスにおいて、未知のオブジェクトの組み合わせからの生成時に顕著な画像品質の低下を示している。
• インスタンス単位の空間正規化は、個々のオブジェクト品質と両方のタイプの未知の条件付けに対する強靭性を向上させ、構成的一般化にとって重要な要因であることを示している。
• シーングラフ知覚的類似度損失を組み込むことで、特に未知の粗い条件付けにおいて条件付けの一貫性が著しく向上するが、条件内多様性には悪影響を及えない。
• 高品質な生成マスクは一般化にとって不可欠である：正解マスクを使用するモデルは予測マスクを使用するモデルを上回り、マスク品質はゼロショット性能の主なボトルネックである。
• 正解マスクとシーングラフモジュールを用いたISLA+M+SGモデル変種は、すべての評価シナリオにおいて最先端の結果を達成し、LostGANv2を下回るFIDスコアを記録した。
• アブレーションスタディの結果、マスク生成品質の向上は、特に未知の粗い条件付けに対する一般化を向上させる最も有望な道筋であることが判明した。