[論文レビュー] Object Discovery with a Copy-Pasting GAN

Relja Arandjelović, Andrew Zisserman|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 65被引用数 42

ひとこと要約

ショートカットを防止し、訓練を安定化させるメカニズムを備えた、ソース画像からオブジェクト領域をデスティネーション画像へ貼り付けて識別器を欺くコピー＆ペーストGANを訓練することで、教師なしのオブジェクト発見を行う。アプローチは混雑したデータセットでのオブジェクト発見性能が高く、ジェネレーティブなベースラインに対して競争力のある結果を示す。

ABSTRACT

We tackle the problem of object discovery, where objects are segmented for a given input image, and the system is trained without using any direct supervision whatsoever. A novel copy-pasting GAN framework is proposed, where the generator learns to discover an object in one image by compositing it into another image such that the discriminator cannot tell that the resulting image is fake. After carefully addressing subtle issues, such as preventing the generator from `cheating', this game results in the generator learning to select objects, as copy-pasting objects is most likely to fool the discriminator. The system is shown to work well on four very different datasets, including large object appearance variations in challenging cluttered backgrounds.

研究の動機と目的

• 直接的な監視なしでオブジェクト発見の教師なし学習を動機づける。
• 画像をブレンドするためのコピーマスクを出力する generator を備えたコピー＆ペーストGAN (CP-GAN) を提案する。
• ジェネレータのショートカットを防止し、識別器を安定化させることで訓練の安定性を確保する。
• 多様で混雑したデータセットでのオブジェクト発見性能を示し、設定を分析する。

提案手法

• Generator はソース画像 I_s からコピーマスク m_theta(I_s) を出力し、デスティネーション I_d とブレンドする (I_c = m_theta(I_s) * I_s + (1 - m_theta(I_s)) * I_d)。
• 識別器は実画像と合成画像を見分けることを学習し、それによりジェネレータが一貫したオブジェクトをコピーするよう導く。
• 単純なショートカットを防ぐため、無関係な画像 I_i を用いて普遍的に適用可能なマスクを罰するanti-shortcut loss を導入する。
• 低レベルの手掛かりの不正利用を避けるため識別器への入力をぼかし、適切に grounded な偽画像を注入して識別器の学習を維持する。
• 多オブジェクトの場合に備え、補助的なマスク予測と強化学習風のシード選択（Instance Colouring）を提供する。
• CP-GAN のジェネレータアーキテクチャを二つ使用する：Direct（単一チャンネルのマスク）と Instance Colouring（密な特徴マップと RL ベースのマスクのシード） 。

実験結果

リサーチクエスチョン

• RQ1 教師なしの CP-GAN は、画像間でオブジェクトをコピーすることを学習することで、オブジェクトを発見・セグメンテーションできるか？
• RQ2 この設定でジェネレータのショートカットを防ぎ、GAN訓練を安定化させるために必要なメカニズムは何か？
• RQ3 背景が雑多で外観が変化する多様な合成データセットで、CP-GAN はどのように機能するか？
• RQ4 異なるジェネレータアーキテクチャはオブジェクト発見性能にどのような影響を与えるか？
• RQ5 この手法は、より複雑で実世界に近い画像に対しても教師なしのままスケールできるか？

主な発見

• CP-GAN は Squares (98.3%)、NoisySquares (100%)、および CLEVR+bg (98.3%) で高いオブジェクト発見率を達成する。
• Flying Chairs (64x64, 雑音あり) では CP-GAN が 40.3% のオブジェクト発見確率を達成。
• Instance Colouring ジェネレータは一般に Direct よりも性能が上であり、特に CLEVR+bg では 98.3% vs 61.6% の差が顕著。
• アブレーション実験から anti-shortcut + border-zeroing が、単純解を避けるために重要であることが示される。補助的なマスク予測と grounded な偽画像は安定性と精度を向上させる。
• 識別器入力のブラーは訓練の安定性を改善し、特に CLEVR+bg で有効である。偽画像の grounding とマスク予測が識別器を導く。
• CP-GAN は混雑したシーンで純粋に生成系のベースライン MONet を一般的に上回り、背景の妨害要因に対しても頑健性を示す。