[論文レビュー] An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection

Rujikorn Charakorn, Yuttapong Thawornwattana+4 more|arXiv (Cornell University)|Jan 24, 2020

Visual Attention and Saliency Detection参考文献 75被引用数 15

ひとこと要約

本稿では、入力データの補助的で入れ替えられたバージョンを導入することで、潜在変数の一部が局所的特徴のみをモデル化するように制約する、VAEに基づくSPLITというフレームワークを提案する。この手法により、深層クラスタリングおよび教師なしオブジェクト検出の下流タスク性能が向上し、モデルが不自然な局所的相関を無視し、グローバルな意味的特徴に注目できるようになる。

ABSTRACT

Visual data can be understood at different levels of granularity, where global features correspond to semantic-level information and local features correspond to texture patterns. In this work, we propose a framework, called SPLIT, which allows us to disentangle local and global information into two separate sets of latent variables within the variational autoencoder (VAE) framework. Our framework adds generative assumption to the VAE by requiring a subset of the latent variables to generate an auxiliary set of observable data. This additional generative assumption primes the latent variables to local information and encourages the other latent variables to represent global information. We examine three different flavours of VAEs with different generative assumptions. We show that the framework can effectively disentangle local and global information within these models leads to improved representation, with better clustering and unsupervised object detection benchmarks. Finally, we establish connections between SPLIT and recent research in cognitive neuroscience regarding the disentanglement in human visual perception. The code for our experiments is at https://github.com/51616/split-vae .

研究の動機と目的

• 深層学習における表現の混合問題に対処すること。具体的には、テクスチャや照明などの局所的特徴から不自然な相関を学習してしまう問題である。
• 変分オートエンコーダーの枠組み内で、グローバル（意味的）およびローカル（テクスチャ／パターン）表現を明示的に分離すること。
• 教師なしクラスタリングやオブジェクト検出などの下流タスクを改善し、モデルがグローバルで不変な特徴に注目できるようにすること。
• アーキテクチャ依存性のない汎用的な手法を提供し、多数のVAEバリアントに広く適用可能であり、大幅なアーキテクチャ変更を要しないこと。
• 提案された分離メカニズムが、人間の視覚認識における認知神経科学的原則（選択的注意や不変性など）とどのように関連するかを明らかにすること。

提案手法

• 補助的データ変換の導入：入力画像にランダムなスクラッチ操作を適用し、$\hat{x}$ と呼ばれる新たな観測可能なデータモダリティを生成する。この$\hat{x}$ は局所的情報のみを保持する。
• 別個のVAEブランチを訓練して$\hat{x}$ を再構築させ、その潜在変数が局所的変動のみをモデル化するように強制する。
• 元のデータ$x$ とスクラッチされたデータ$\hat{x}$ の両方に対して、同じグローバルエンコーダーを用いて共有のグローバル表現を生成する。これにより、グローバル特徴が共有される。
• 潜在変数のサブセットを条件付きに$\hat{x}$ の生成に使用することで、分離バイアスを導入し、それらの潜在変数が局所的パターンを捉えるように促進する。
• SPLITフレームワークを3つのVAEバリアント（ヴァニラVAE、GMVAE、SPAIR）に統合し、異なるアーキテクチャでの有効性を評価する。
• 再構築損失（$x$ と$\hat{x}$ の両方）、および潜在空間への事前分布仮定を強制するKLダイバージェンス項を含む、統合的な目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバル表現の明示的分離が、深層生成モデルにおける表現品質の向上に寄与するか？
• RQ2 SPLITフレームワークにより、グローバル意味的特徴に注目できるようになることで、教師なしクラスタリングタスクの性能が向上するか？
• RQ3 局所的およびグローバル特徴の分離が、教師なしオブジェクト検出の学習速度および精度の向上に寄与するか？
• RQ4 アーキテクチャの柔軟性と性能の観点から、SPLITフレームワークは既存のインダクティブバイアス手法と比較してどのように差をつけるか？
• RQ5 SPLITフレームワークは、特に選択的注意や不変性といった人間の視覚認識の原則と、どの程度整合しているか？

主な発見

• SPLIT-VAEは、生成サンプルの可視的検査およびスタイル転送の定性的分析により、局所的およびグローバル特徴の明確な分離に成功している。
• SPLIT-GMVAEは、SVHNデータセットにおいて標準のGMVAEよりも優れたクラスタリング性能を達成しており、クラスタが数字の識別子や他のグローバル属性に対応している。
• SPLIT-GMVAEでクラスタリングされたCelebAデータは、性別や顔の向きに基づく意味のあるグループ化を示しており、効果的なグローバル表現学習が行われていることが示唆される。
• SPAIRベースの教師なしオブジェクト検出タスクにおいて、SPLITはオブジェクト数の正確な推定を大幅に向上させ、グローバルオブジェクト特性に注目するようモデルを促進することで学習を加速した。
• SPLITフレームワークは汎用的であり、主要なアーキテクチャ変更なしに多数のVAEアーキテクチャに適用可能であり、広範な互換性を示している。
• この手法により、テクスチャや照明の変動といった局所的ノイズに対してより頑健になり、より汎用的で解釈可能な表現が得られるようになった。