[論文レビュー] FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery

Krishna Kumar Singh, Utkarsh Ojha+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 60被引用数 4

ひとこと要約

FineGAN は、潜在コードにおける情報理論的制約を用いて、背景、物体の形状、外観を階層的に分離する教師なし GAN フレームワークであり、リアルな詳細な画像生成と教師なしの詳細なオブジェクトカテゴリ発見を可能にする。CUB、Stanford Dogs、Stanford Cars データセットにおいて、NMI および正解率の両面で JULE や DEPICT よりも最先端のクラスタリング性能を達成している。

ABSTRACT

We propose FineGAN, a novel unsupervised GAN framework, which disentangles the background, object shape, and object appearance to hierarchically generate images of fine-grained object categories. To disentangle the factors without supervision, our key idea is to use information theory to associate each factor to a latent code, and to condition the relationships between the codes in a specific way to induce the desired hierarchy. Through extensive experiments, we show that FineGAN achieves the desired disentanglement to generate realistic and diverse images belonging to fine-grained classes of birds, dogs, and cars. Using FineGAN's automatically learned features, we also cluster real images as a first attempt at solving the novel problem of unsupervised fine-grained object category discovery. Our code/models/demo can be found at https://github.com/kkanshul/finegan

研究の動機と目的

• 細かな分類のアノテーションが一切ない状態で、背景、物体の形状、外観を階層的に分離できる教師なし生成モデルの開発。
• 従来の文献で解決されていなかった、教師なしの詳細なオブジェクトカテゴリ発見という課題に取り組む。
• 詳細なオブジェクトにおける変動要因（構造的要因：形状、詳細的要因：外観）を捉える分離可能な表現を学習すること。
• 潜在コードへの階層的条件付けを用いて、鳥、犬、車などの詳細なカテゴリの多様でリアルな画像を生成すること。
• 教師なしの階層的生成から学習された特徴量が、実画像を正確な詳細なカテゴリにクラスタリングするために利用可能であることを示すこと。

提案手法

• FineGAN は、背景画像を最初に生成し、次に形状コードに条件付けられた親画像を生成し、最後に親コードと外観コードに条件付けられた子画像を生成する階層的生成プロセスを採用する。
• 親潜在コードと親画像の間、および親コードに条件付けられた子潜在コードと子画像の間の相互情報量を高めるために、情報理論的正則化を適用する。
• 両段階で学習されたマスクを条件付けとして用いることで、潜在コードが関連するオブジェクト領域に注目し、段階間での画像の適切な合成を可能にする。
• 同じ親コードに属する子コードをグループ化する階層的制約を導入することで、親コードが形状を捉え、子コードが外観の変動を捉えるよう促進する。
• 生成モデルが実際の画像を生成できるように、 adversarial loss と相互情報量最大化を組み合わせた GAN の目的関数を用いて訓練する。
• FineGAN は両段階で自動的にセグメンテーションマスクを生成し、生成器がオブジェクト固有の領域に注目するのを助け、分離性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 背景、形状、外観の階層的分離を実現する生成モデルは、一切の教師信号なしに、リアルで多様な詳細な画像を生成できるか？
• RQ2 このようなモデルが学習した分離可能な特徴量は、教師なしで実画像を詳細なカテゴリにクラスタリングするために利用できるか？
• RQ3 階層的分離は、Flat な分離（例：InfoGAN）と比較して、詳細なオブジェクトの変動をどれほどよく捉えられるか？
• RQ4 学習された親コードと子コードはそれぞれ形状および外観要因をどの程度正しく捉えているか、クラスタリングにおいて補完的であるか？
• RQ5 真のカテゴリ数が不明な状況でも、モデルは意味のある詳細な構造を発見できるか？

主な発見

• FineGAN は、CUB データセットにおいて、0.403 の NMI と 0.126 の正解率を達成し、JULE（0.204 NMI、0.045 正解率）や DEPICT（0.290 NMI、0.061 正解率）を大きく上回る最先端の性能を発揮した。
• Stanford Dogs データセットでは、0.233 の NMI と 0.079 の正解率を達成し、JULE-ResNet-50（0.148 NMI、0.044 正解率）や DEPICT-Large（0.183 NMI、0.054 正解率）を上回った。
• Stanford Cars データセットでは、0.354 の NMI と 0.078 の正解率を達成し、DEPICT-Large（0.330 NMI、0.062 正解率）を含むすべてのベースラインを上回った。
• アブレーションスタディの結果、子コード特徴量のみを用いると、鳥の分類で正解率が 0.017 にまで低下した。これは、親コードと子コードが補完的であり、それぞれ形状と外観の異なる側面を捉えていることを確認している。
• 定性的な結果から、FineGAN は背景、形状、外観を成功裏に分離しており、子コードのみを変化させても形状と背景が一定に保たれることが確認された。
• 一方、InfoGAN は外観と背景を分離できず、同じ子コードを用いた画像でも背景が一貫して変化していた。これは、潜在コード予測に背景バイアスが存在することを示しており、分離性に欠けることを示している。