[論文レビュー] LayoutVAE: Stochastic Scene Layout Generation From a Label Set

Akash Abdu Jyothi, Thibaut Durand+3 more|arXiv (Cornell University)|Jul 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 14

ひとこと要約

LayoutVAE は、オブジェクト間の空間的および数的関係をモデル化することで、ラベルセットから確率的で多様なシーンレイアウトを生成する変分オートエンコーダー（VAE）フレームワークである。多様なレイアウト生成が可能であり、尤度スコアリングにより異常レイアウトを検出でき、MNIST-Layouts および COCO 2017 パノプティックデータセットで優れた性能を発揮する。

ABSTRACT

Recently there is an increasing interest in scene generation within the research community. However, models used for generating scene layouts from textual description largely ignore plausible visual variations within the structure dictated by the text. We propose LayoutVAE, a variational autoencoder based framework for generating stochastic scene layouts. LayoutVAE is a versatile modeling framework that allows for generating full image layouts given a label set, or per label layouts for an existing image given a new label. In addition, it is also capable of detecting unusual layouts, potentially providing a way to evaluate layout generation problem. Extensive experiments on MNIST-Layouts and challenging COCO 2017 Panoptic dataset verifies the effectiveness of our proposed framework.

研究の動機と目的

• 弱い教師信号（関係性の詳細を含まないラベルセット）からの多様で現実的なレイアウトを生成する確率的生成モデルの不足に対処すること。
• テキスト的または構造的な記述に依存せずに、視覚データからシーン内のオブジェクト間の内在的な空間的および数的関係を学習すること。
• 同じラベルセットに対して複数の妥当なレイアウトを生成できるフレームワークを構築することにより、現実世界のシーンに内在する曖昧さと多様性を反映すること。
• 学習済み尤度スコアを活用して、あり得ないまたは異常なレイアウトを検出できること。
• 既存の画像生成モデルにレイアウト入力を必要とするコンponentsとしての統合性を提供し、リアルリズムと多様性を向上させること。

提案手法

• オブジェクトレイアウトの連合分布をモデル化するため、分離した推論ネットワークおよび事前分布ネットワークを備えた変分オートエンコーダー（VAE）アーキテクチャを採用する。
• 訓練データの統計から学習した、ラベルごとのオブジェクト数の分布を用いて、数的関係をモデル化する。
• 以前に生成されたオブジェクトに基づいて境界ボックスの位置を予測する条件付き事前分布を通じて、空間的関係をモデル化する。
• 階層的な生成プロセスを採用：まずオブジェクト数を予測し、その後、自己回帰的条件付き生成により段階的に境界ボックスを生成する。
• レイアウトの異常検出のため、1000個の事後分布サンプルを用いた重要度サンプリングにより、負の対数尤度（NLL）を推定する。
• 合成データセット MNIST-Layouts を導入し、例えば「大きな数字を中央に、小さな数字を下部に配置する」といった明確なレイアウトルールを定義することで、構成的ルールの学習を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、関係性の詳細を明示的に与えられないラベルセットからのみ、多様で現実的なシーンレイアウトを学習して生成できるか？
• RQ2 モデルは、現実世界の画像分布から、オブジェクト間の空間的および数的関係をどれほど正確に捉え、一般化できるか？
• RQ3 学習済み分布下での尤度を測定することで、どの程度異常またはあり得ないレイアウトを検出できるか？
• RQ4 合成の MNIST-Layouts と現実世界の COCO のような、複雑性が異なるデータセット間で、モデルは一般化できるか？
• RQ5 ラベルの処理順序がモデル性能に与える影響は何か？また、ラベルの順序を入れ替えるとレイアウト生成品質にどのような影響があるか？

主な発見

• LayoutVAE は、MNIST-Layouts および COCO 2017 パノプティックデータセットの両方で、同じラベルセットに対して多様で現実的なレイアウトを生成できることを実証した。
• 異常レイアウトの検出精度が高く、レイアウトを逆さまにした場合、テスト画像の92.58％でNLLが上昇し、平均NLLは2.26から4.33に上昇した。
• 画像間でラベルの順序をランダム化すると性能が著しく低下し、一貫した順序付けが空間的ルールの学習を促進することが示された。
• MNIST-Layouts では、合成されたレイアウトルール（例：大きな数字を中央に、小さな数字を下部に配置）を学習し、遵守している。
• LayoutVAE は、高尤度領域が現実的なオブジェクト配置と一致するように、段階的に一貫性のある境界ボックス予測を生成する。
• 既存の画像生成モデルと互換性があることが確認され、Zhaoら[31]のモデルに有効な入力としてのレイアウトを生成できる。