[論文レビュー] Learning Disentangled Representations via Mutual Information Estimation

Eduardo Hugo Sanchez, Mathieu Serrurier+1 more|arXiv (Cornell University)|Dec 9, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 11

ひとこと要約

本論文は、再構成や生成に依存せずに、ペア画像から分離表現を学習する二段階の相互情報推定手法を提案する。共有特徴のためのクロス相互情報量の最大化と、共有・排他的な相互情報量を敵対的に最小化することで、最先端の分離性を達成し、合成および実際のデータセット（Sentinel-2 衛星画像を含む）における画像分類およびリtrieval タスクで VAE/GAN ベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we investigate the problem of learning disentangled representations. Given a pair of images sharing some attributes, we aim to create a low-dimensional representation which is split into two parts: a shared representation that captures the common information between the images and an exclusive representation that contains the specific information of each image. To address this issue, we propose a model based on mutual information estimation without relying on image reconstruction or image generation. Mutual information maximization is performed to capture the attributes of data in the shared and exclusive representations while we minimize the mutual information between the shared and exclusive representation to enforce representation disentanglement. We show that these representations are useful to perform downstream tasks such as image classification and image retrieval based on the shared or exclusive component. Moreover, classification results show that our model outperforms the state-of-the-art model based on VAE/GAN approaches in representation disentanglement.

研究の動機と目的

• 画像の再構成や生成モデルに依存せずに、ペア画像から分離表現を学習すること。
• 画像ペアに共通する属性（共有属性）と各画像固有の属性（排他的属性）を分離すること。
• 分離されたコンponents を用いた画像分類およびリtrieval タスクの下流タスク性能を向上させること。
• VAE や GAN のような再構成・生成ベースのモデルの計算コストの高い代替手段を開発すること。
• ラベルが限られた実世界のデータ（例：衛星画像）において有効性を示すこと。

提案手法

• 二段階の訓練手順：まず、ペア画像間のクロス相互情報量の最大化により共有表現を学習する。
• 第二に、個々の画像との相互情報量を最大化するとともに、共有表現との相互情報量を最小化することで排他的表現を学習する。
• 共有表現と排他的表現の間の相互情報量を最小化する敵対的目的を導入し、分離性を強化する。
• 局所的およびグローバル統計ネットワークを用いて相互情報量を推定し、効果的な最適化を可能にする。
• 共有特徴が排他的情報を捉えないようにするため、スイッチド共有表現（SSR）を用いる。
• 共有および排他的表現学習の両方に対して、グローバルおよび局所的相互情報量項を組み合わせた損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 画像の再構成や生成がなくても、相互情報量推定のみで分離表現を学習可能か？
• RQ2 クロス相互情報量の最大化は、ペア画像間の共有属性を効果的に捉えられるか？
• RQ3 共有・排他的な相互情報量の敵対的最小化は、表現の分離性を向上させるか？
• RQ4 提案手法は、VAE/GAN ベースの最先端モデルを上回る分離性能を発揮するか？
• RQ5 ラベルが少ないがラベルなしデータが多い状況（例：衛星画像解析）において、モデルは有効か？

主な発見

• Sentinel-2 データからの共有表現を用いて、EuroSAT 画像分類で 93.11% の精度を達成し、VAE（87.64%）および VAE-GAN（92.38%）ベースラインを上回った。
• アブレーションスタディにより、スイッチド共有表現（SSR）が、排他的情報が共有特徴に漏れ込むのを防ぐために不可欠であることが確認された。
• β^sh = 0（局所的相互情報量項）に設定した場合、共有属性分類精度が著しく低下し、その重要性が示された。
• 感度分析の結果、λ_adv = 0.025 が最適な分離性をもたらし、それ以上の値は排他的属性分類性能を低下させた。
• クロス相互情報量目的により、相互情報量に基づいたピクセル単位の距離を測定可能であり、無教師セグメンテーションやオブジェクト検出への応用が有望である。
• 色付き-MNIST、3D Shapes、IAM 手書き文字、Sentinel-2 データセットにおける分類およびリtrieval タスクの検証により、提案手法は SOTA の VAE/GAN ベースモデルを上回る表現の分離性を達成した。