[論文レビュー] Connectivity-Optimized Representation Learning via Persistent Homology

Christoph D. Hofer, Roland Kwitt+2 more|arXiv (Cornell University)|Jun 21, 2019

Topological and Geometric Data Analysis被引用数 31

ひとこと要約

本稿では、自己符号化器の潜在空間の位相的構造を最適化するため、持続的ホモロジーに基づく微分可能連結性損失を提案する。この手法により、1クラス学習の性能が向上する。補助データ上で1つの自己符号化器を訓練することで、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNetの複数のデータセットにおいて、少数のサンプル環境下で最先端の性能を達成し、クラス内サンプルが少ない場合に顕著な性能向上を示す。

ABSTRACT

We study the problem of learning representations with controllable connectivity properties. This is beneficial in situations when the imposed structure can be leveraged upstream. In particular, we control the connectivity of an autoencoder's latent space via a novel type of loss, operating on information from persistent homology. Under mild conditions, this loss is differentiable and we present a theoretical analysis of the properties induced by the loss. We choose one-class learning as our upstream task and demonstrate that the imposed structure enables informed parameter selection for modeling the in-class distribution via kernel density estimators. Evaluated on computer vision data, these one-class models exhibit competitive performance and, in a low sample size regime, outperform other methods by a large margin. Notably, our results indicate that a single autoencoder, trained on auxiliary (unlabeled) data, yields a mapping into latent space that can be reused across datasets for one-class learning.

研究の動機と目的

• 自己符号化器の潜在空間の連結性特性を、位相的情報に基づいて制御する微分可能な損失関数の開発。
• 未ラベルの補助データ上で1つの自己符号化器を訓練することで、複数のデータセットにわたる再利用可能で転送可能な表現の実現。
• クラス内サンプル数が少ない状況でも性能を向上させるために、構造的かつ均一な潜在空間配置を強制することで、1クラス学習の性能を向上。
• 潜在空間における連結性の制御が引き起こす密着化効果の理論的裏付けの提供。
• 位相的に正規化された表現の上に構築されたカーネル密度推定器が、優れた1クラスモデルをもたらすことを示すこと。

提案手法

• 著者らは、ミニバッチの潜在表現から得られる持続的ホモロジーに基づくバーコードを用いて、新たな連結性損失を導入する。
• 連結性損失は、不連結な成分に関連する位相的特徴を最小化することで、潜在空間における点の均一な分布を促進するように設計されている。
• 微分可能なバージョンのベトリス＝リップス複体と行列削減を用いることで、持続的ホモロジー計算を微分可能にし、誤差逆伝播を可能にする。
• 再構成損失と連結性損失の組み合わせによる自己符号化器の訓練を実施し、ハイパーパrameter λ でトレードオフを制御する。
• 学習された潜在表現は、複数のデータセットにわたって1クラスモデリングに再利用され、クラス内分布をモデル化するためにカーネル密度推定が適用される。
• 本手法は、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNetで評価され、主にAUCを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 持続的ホモロジーから導かれる位相的制約を微分可能にし、深層自己符号化器における表現学習をガイドできるか？
• RQ2 潜在空間における連結性の強制が、より密で構造的な表現を生み出し、その後続の1クラス学習タスクに寄与するか？
• RQ3 未ラベルデータ上で訓練された1つの自己符号化器が、多様なデータセットにわたる1クラスモデリングに適した転送可能な表現を生成できるか？
• RQ4 本手法は、最先端の1クラス学習手法と比較して、少数サンプル環境下でどのように性能を発揮するか？
• RQ5 潜在空間における連結性の制御から生じる理論的性質は何か、特に表現の密着化と分離性に関しては？

主な発見

• 微小な条件下でも、連結性損失は微分可能であり、持続的ホモロジー計算を経由したバックプロパゲーションによるエンドツーエンド学習が可能である。
• 理論的分析により、連結性の制御が、サンプルサイズに依存する潜在空間内の密着化効果を誘発することが示された。これは、その後続のカーネル密度推定に好影響を与える。
• CIFAR-10で120個のクラス内サンプルを使用した場合、本手法はAUC 0.72を達成し、ADT-120（0.66）および他のベースラインを大きく上回った。
• CIFAR-100でも120サンプルでAUC 0.79を達成し、ADT-120（0.75）を顕著に上回り、優れた一般化性能を示した。
• ImageNetでは、CIFAR-100で事前学習した1つの自己符号化器を用いても、AUC ≈ 0.72の安定した性能を維持しており、強力な転送性を示した。
• 少数サンプル環境下では、本手法が最先端の手法を大きく上回る性能を発揮し、特に1クラスあたりの学習データが約120個程度に制限される状況で顕著な優位性を示した。