[論文レビュー] Simplicial Complex Representation Learning

Mustafa Hajij, Ghada Zamzmi+3 more|arXiv (Cornell University)|Mar 6, 2021

Topological and Geometric Data Analysis参考文献 35被引用数 8

ひとこと要約

本稿では、単体複体自己符号化器（SCA）内での新しい幾何的メッセージスティングスキームを活用することで、全単体複体の普遍的表現を学習する最初のエンドツーエンド手法を提案する。この手法は、学習済み埋め込み空間における複体間の類似度を保持し、2次元の可視化を用いて公的で60メッシュからなるデータセット上で、未学習のクラスを含むメッシュカテゴリの成功したクラスタリングを示しており、高次元の位相的表現学習における基盤的ステップを示している。

ABSTRACT

Simplicial complexes form an important class of topological spaces that are frequently used in many application areas such as computer-aided design, computer graphics, and simulation. Representation learning on graphs, which are just 1-d simplicial complexes, has witnessed a great attention in recent years. However, there has not been enough effort to extend representation learning to higher dimensional simplicial objects due to the additional complexity these objects hold, especially when it comes to entire-simplicial complex representation learning. In this work, we propose a method for simplicial complex-level representation learning that embeds a simplicial complex to a universal embedding space in a way that complex-to-complex proximity is preserved. Our method uses our novel geometric message passing schemes to learn an entire simplicial complex representation in an end-to-end fashion. We demonstrate the proposed model on publicly available mesh dataset. To the best of our knowledge, this work presents the first method for learning simplicial complex-level representation.

研究の動機と目的

• グラフの高次元一般化である全単体複体の表現学習手法の不足に取り組むこと。
• 既存の単体レベル埋め込み技術の制限を克服し、全複体の普遍的埋め込みを学習すること。
• 共有埋め込み空間内での単体複体間の構造的および位相的類似度を保持すること。
• 位相的データ構造における分類や類似度ランク付けなどの下流タスクを可能にすること。
• 実世界のメッシュデータセットにおいて、視覚的および定量的検証を伴って、提案手法の実現可能性と有効性を示すこと。

提案手法

• 単体を跨ぐ幾何的メッセージスティングを介して、全複体の埋め込みを学習する単体複体自己符号化器（SCA）を提案する。
• 最終的な複体レベル埋め込みベクトル $\mathbf{h}_X$ を得るために、1層のAMPS（適応的メッセージスティングスキーム）と最終的な全結合層を用いる。
• 複体間のペアワイズ距離 $d_{ij}$ を保持するために、対照的損失目的関数 $\mathcal{L} = \sum_{i,j} (\|h_{X_i} - h_{X_j}\| - d_{ij})^2$ を用いてモデルを訓練する。
• 三角形メッシュに対しては、ハウスドルフ距離やパーシsistenteホモロジーに基づく距離計測法を用いて距離行列 $D$ を計算する。
• 100エポックにわたるエンドツーエンド訓練のために、バッチサイズ1でSGD最適化を実装（PyTorchベース）。
• 全距離行列の事前計算を回避するため、ラベル付きデータを用いたエンドツーエンドのメトリクス学習を可能にするために、トリプルット損失などの代替訓練戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 位相的および構造的関係を保持する低次元の普遍的埋め込みを、全単体複体に対して学習することは可能か？
• RQ2 幾何的メッセージスティングは、異なる位相的構造を有する複体間の類似度を捉えるのにどの程度有効か？
• RQ3 モデルは未学習の単体複体（例：訓練セットにないテストメッシュ）に一般化可能であり、形状の類似度に基づいてクラスタリングできるか？
• RQ4 事前計算された距離行列と、ラベル付きデータを用いたエンドツーエンドのメトリクス学習（トリプルット損失）の間には、どのようなトレードオフがあるか？
• RQ5 学習済み埋め込みは、位相的データにおける分類や類似度ランク付けといった下流タスクをどの程度サポートできるか？

主な発見

• モデルは、顔、頭部、馬といった同じカテゴリのメッシュを、2次元埋め込み空間内で空間的に一貫したグループにクラスタリングしている。
• ネコ、象、ラクダのメッシュを訓練に使わなくても、構造的に類似した対応物に近い場所に正しく埋め込まれており、強力な一般化能力を示している。
• 四足歩行の動物のように構造的に関連する動物は、近接して埋め込まれており、モデルが形状ベースの類似度を捉えられることを示している。
• 2次元埋め込み次元を用いることで、視覚的検証が可能となり、学習済み表現が意味のある位相的関係を保持していることが確認された。
• パーシステントホモロジーまたはハウスドルフ距離による距離行列の計算に依存し、明示的なラベルを必要としない有効な自己教師付き表現学習を達成している。
• トリプルット損失を用いた将来的なエンドツーエンド訓練において、全距離行列の事前計算を排除しつつも性能を維持できる可能性を示している。