[論文レビュー] Generating Multiple Objects at Spatially Distinct Locations

Tobias Hinz, Stefan Heinrich+1 more|arXiv (Cornell University)|Jan 3, 2019

Multimodal Machine Learning Applications参考文献 30被引用数 30

ひとこと要約

本論文は、バウンディングボックスとクラスラベルのみを用いて、生成画像内の複数のオブジェクトのアイデンティティ、位置、サイズを細かく制御できる、専用のオブジェクトパスを備えた新しいGANアーキテクチャを提案する。完全なセマンティックレイアウトを必要としない。本手法は、MS-COCO、CLEVR、Multi-MNISTの各データセットで、シーンの文脈を学習するグローバルパスと、指定された位置にオブジェクト固有の特徴を繰り返し生成するオブジェクトパスを同時に学習することにより、最先端の画像品質とレイアウト制御を達成する。

ABSTRACT

Recent improvements to Generative Adversarial Networks (GANs) have made it possible to generate realistic images in high resolution based on natural language descriptions such as image captions. Furthermore, conditional GANs allow us to control the image generation process through labels or even natural language descriptions. However, fine-grained control of the image layout, i.e. where in the image specific objects should be located, is still difficult to achieve. This is especially true for images that should contain multiple distinct objects at different spatial locations. We introduce a new approach which allows us to control the location of arbitrarily many objects within an image by adding an object pathway to both the generator and the discriminator. Our approach does not need a detailed semantic layout but only bounding boxes and the respective labels of the desired objects are needed. The object pathway focuses solely on the individual objects and is iteratively applied at the locations specified by the bounding boxes. The global pathway focuses on the image background and the general image layout. We perform experiments on the Multi-MNIST, CLEVR, and the more complex MS-COCO data set. Our experiments show that through the use of the object pathway we can control object locations within images and can model complex scenes with multiple objects at various locations. We further show that the object pathway focuses on the individual objects and learns features relevant for these, while the global pathway focuses on global image characteristics and the image background.

研究の動機と目的

• 完全なセマンティックレイアウトを必要とせずに、生成画像内のオブジェクト配置を細かく制御すること。
• オブジェクトラベルとバウンディングボックスのみを用いて、複数の空間的に異なるオブジェクトを含む複雑なシーンを生成する課題に対処すること。
• グローバルシーン理解と局所的オブジェクト表現を分離することで、GANベースの画像生成における画像品質とレイアウトの一貫性を向上させること。
• オブジェクトパスがオブジェクト固有の特徴を学習し、グローバルパスが背景とグローバル構造に集中することを実証すること。

提案手法

• グローバルパス（全体のシーンレイアウトと背景）と個々のオブジェクト特徴を処理するオブジェクトパスを備えた二重パス生成器を導入。
• オブジェクトパスは、各オブジェクトのバウンディングボックスとクラスラベルを用いて、指定された位置に局所的特徴を繰り返し生成する。
• 両パスの特徴を連結し、共有の生成ヘッドを介して最終的な画像を生成する。
• 識別器も同様の二重パス構造を採用：グローバルパスは画像全体を処理し、オブジェクトパスはバウンディングボックスとラベルで定義された領域にのみ注目する。
• 敵対的損失を用いてエンドツーエンドで学習し、識別器はリアルさ、テキストとの整合性、オブジェクト配置とアイデンティティの正しさを評価する。
• オブジェクト形状やパーツセグメンテーションの学習は不要で、入力としてバウンディングボックス座標とクラスラベルのみに依存する。

実験結果

リサーチクエスチョン

• RQ1 完全なセマンティックレイアウトを必要とせずに、ユーザー指定の正確な位置に複数のオブジェクトを含む画像をGANモデルが生成できるか？
• RQ2 補助的なオブジェクトパスは、標準のGANと比較して、生成画像の品質と空間的一致性を向上させるか？
• RQ3 オブジェクトパスは分離された、カテゴリ固有の特徴を学習できるか？一方、グローバルパスは背景とシーンレベルの文脈を捉えるか？
• RQ4 重なっているバウンディングボックスや、バウンディングボックスに含まれない小さなオブジェクトといった、困難な状況下でモデルはどのように動作するか？

主な発見

• オブジェクトパスは、バウンディングボックスで定義された正確な空間的位置に、個々のオブジェクトカテゴリ固有の特徴を生成することが成功した。
• 特徴可視化と活性化解析により、グローバルパスが背景とグローバル画像構造に集中している一方、オブジェクトパスが細かく局所的なオブジェクト詳細に特化していることが確認された。
• グランドトゥルースのバウンディングボックスを用いる手法と比較して、MS-COCOおよびCLEVRでFIDとインセプションスコアの最先端性能を達成した。バウンディングボックス内でのオブジェクト形状の学習がなくても成立する。
• オブジェクトパスを無効化した場合、モデルは明確なオブジェクトを生成できず、背景に似た画像しか生成しなかった。これはオブジェクトパスがオブジェクト生成において中心的な役割を果たしていることを確認する。
• 30％以上の重なりを示すバウンディングボックスでは、重複領域に視覚的アーティファクトや一貫性の欠如が生じ、特徴の統合戦略の限界を示している。
• バウンディングボックスが割り当てられていない小さなオブジェクト（例：芝生の中の羊）は、キャプションに記述されていても、しばしば完全に省かれることがあり、オブジェクトパスの入力が欠落しているためである。