[論文レビュー] Topological Constraints on Homeomorphic Auto-Encoding

Pim de Haan, Luca Falorsi|arXiv (Cornell University)|Dec 27, 2018

Advanced Vision and Imaging参考文献 4被引用数 4

ひとこと要約

この論文は、非自明な多様体（例：SO(3)）へのデータのマッピングを行う自己符号化器が、データ多様体とユークリッド空間との間に同相写像である場合、それがグローバルに連続であることは不可能であることを確立している。ホモトピー群などの位相的不変量を用いて、同相写像となる自己符号化器を構築するための必要十分条件を導出し、特定のアーキテクチャ（例：SO(3)のための「Basis」法）のみがこれらの制約を満たすことが示され、他のアーキテクチャ（例：指数写像、クォータニオン）は位相的障害のため失敗することが判明した。

ABSTRACT

When doing representation learning on data that lives on a known non-trivial manifold embedded in high dimensional space, it is natural to desire the encoder to be homeomorphic when restricted to the manifold, so that it is bijective and continuous with a continuous inverse. Using topological arguments, we show that when the manifold is non-trivial, the encoder must be globally discontinuous and propose a universal, albeit impractical, construction. In addition, we derive necessary constraints which need to be satisfied when designing manifold-specific practical encoders. These are used to analyse candidates for a homeomorphic encoder for the manifold of 3D rotations $SO(3)$.

研究の動機と目的

• データ多様体と潜在空間との間に同相写像となる自己符号化器が成立する条件を形式化すること。
• 標準的なディープラーニングアーキテクチャが、非自明な多様体に対してグローバルに連続で、全単射かつ逆写像が連続なエンコーダーを生成できない理由を特定すること。
• 同相写像となる自己符号化器を構築するための必要十分な位相的条件を導出すること。
• SO(3)の既存の候補アーキテクチャを位相的制約に基づいて評価し、理論的予測と先行実験結果を一致させること。
• 複雑なデータ多様体の位相を尊重する将来の自己符号化器アーキテクチャの設計を支援すること。

提案手法

• 特にホモトピー群を用いて、同相写像エンコーダーの位相的制約を分析する代数的位相幾何学的手法を用いる。
• 定理1および系2を適用し、非自明な多様体からユークリッド空間への連続なエンコーダーが、その多様体のホモトピー群が周囲空間のものに埋め込まれる限り、再構成写像でないことを証明する。
• ホイットニー埋め込み定理を用いて、任意の多様体が十分高い次元のユークリッド空間に閉部分集合として埋め込めることが示される。
• ユークリッド空間から埋め込まれた多様体への距離射影写像を導入し、それがほとんど everywhere で連続的かつほとんど everywhere で一意に定義されることを証明する。
• 補題3を用いて、関数の合成がデータ多様体上に制限された場合に同相写像を生成する十分条件を確立する。
• SO(3)の4つの候補アーキテクチャ（指数写像、クォータニオン、軸角、ベーシス）を、位相的基準に基づいて評価する。

実験結果

リサーチクエスチョン

• RQ1 非自明な多様体とユークリッド潜在空間との間に、グローバルに連続な自己符号化器が同相写像として存在可能か？
• RQ2 ある多様体上で自己符号化器が同相写像となるために満たすべき位相的不変量は何か？
• RQ3 なぜ標準的なアーキテクチャ（例：指数写像やクォータニオンベースのエンコーダー）は、SO(3)に対して同相写像の表現を生成できないのか？
• RQ4 データ多様体上に制限した場合にエンコーダーが同相写像となるようにするアーキテクチャ設計の原則は何か？
• RQ5 理論的な位相的制約は、SO(3)表現学習に関する先行研究における実験的性能とどの程度整合するか？

主な発見

• 非自明な多様体とユークリッド空間との間に同相写像であるエンコーダーは、データ多様体上で連続であっても、グローバルには不連続である必要がある。
• SO(3)の指数写像エンコーダーはグローバルに連続であるが、系2の必要条件を満たさない。なぜなら、SO(3)の第一ホモトピー群 π₁(SO(3)) = ℤ/2ℤ が非自明であるためである。
• クォータニオンベースのエンコーダーは失敗する。なぜなら、3次元球面 S³ は単連結（π₁(S³) = 0）であるが、これはSO(3)と同一の非自明なホモトピーを有する中間空間の要件に反するためである。
• 軸角エンコーダーは失敗する。なぜなら、S² × S¹ はコンパクトかつ単連結であるが、SO(3)はそうではないため、補題5の同相写像のための必要条件に反する。
• 「Basis」法は、補題3の十分条件を満たす。なぜなら、ℝ³×ℝ³ から正規化された直交基底を介したSO(3)への写像が、制約多様体上で連続的かつ全単射であるからである。
• 理論的分析により、SO(3)に対して同相写像エンコーダーを生成するのは「Basis」法のみであることが確認され、Falorsiら（2018）の先行実験結果とも整合する。