[논문 리뷰] Simplicial Complex Representation Learning

Mustafa Hajij, Ghada Zamzmi외 3명|arXiv (Cornell University)|2021. 03. 06.

Topological and Geometric Data Analysis참고 문헌 35인용 수 8

한 줄 요약

이 논문은 단순 복합체 전체에 대한 유일한 표현을 학습하기 위한 최초의 엔드 투 엔드 방법을 제안한다. 이는 단순 복합체 오토에인코드르 내부에서 새로운 기하 메시지 전달 기법을 활용함으로써 이루어지며, 학습된 임bedding 공간에서 단순 복합체 간의 유사성을 유지한다. 이 방법은 2차원 시각화를 통해 공개된 60개 메쉬 데이터셋에서 메쉬 유형의 성공적인 군집화를 보여주며, 이는 고차원 토폴로지 표현 학습 분야에서 기초적인 단계를 마련한다.

ABSTRACT

Simplicial complexes form an important class of topological spaces that are frequently used in many application areas such as computer-aided design, computer graphics, and simulation. Representation learning on graphs, which are just 1-d simplicial complexes, has witnessed a great attention in recent years. However, there has not been enough effort to extend representation learning to higher dimensional simplicial objects due to the additional complexity these objects hold, especially when it comes to entire-simplicial complex representation learning. In this work, we propose a method for simplicial complex-level representation learning that embeds a simplicial complex to a universal embedding space in a way that complex-to-complex proximity is preserved. Our method uses our novel geometric message passing schemes to learn an entire simplicial complex representation in an end-to-end fashion. We demonstrate the proposed model on publicly available mesh dataset. To the best of our knowledge, this work presents the first method for learning simplicial complex-level representation.

연구 동기 및 목표

• 그래프의 고차원 일반화인 전체 단순 복합체에 대한 표현 학습 방법의 부족을 해결한다.
• 기존의 단순체 수준 임베딩 기법의 한계를 극복하기 위해 전체 복합체에 대한 유일한 임베딩을 학습한다.
• 공유된 임베딩 공간 내에서 단순 복합체 간의 구조적 및 토폴로지적 유사성을 유지한다.
• 토폴로지 데이터 구조에서의 분류 및 유사도 순서 정렬과 같은 후속 작업을 가능하게 한다.
• 실세계 메쉬 데이터셋에서 제안된 방법의 타당성과 효율성을 2차원 시각화 및 정량적 검증을 통해 입증한다.

제안 방법

• 단순 복합체 오토에인코드러(Simplicial Complex Autoencoder, SCA)를 제안하여, 단순체 간 기하 메시지 전달을 통해 전체 복합체의 임베딩을 학습한다.
• 최종 복합체 수준 임베딩 벡터 $\mathbf{h}_X$ 를 생성하기 위해 단일 레이어의 AMPS(적응형 메시지 전달 방식)와 최종 밀집층을 사용한다.
• 복합체 간 쌍별 거리 $d_{ij}$ 를 유지하기 위해 대trastive 손실 목적함수 $\mathcal{L} = \sum_{i,j} (\|h_{X_i} - h_{X_j}\| - d_{ij})^2$ 를 사용해 모델을 훈련한다.
• 삼각형 메쉬에 대해 Hausdorff 거리 또는 영속 homology 기반 거리 측정법을 사용해 거리 행렬 $D$ 를 계산한다.
• 100 에포크 동안 배치 크기가 1인 SGD 최적화를 사용해 PyTorch 구현을 기반으로 엔드 투 엔드 훈련을 수행한다.
• 전체 거리 행렬을 사전 계산하지 않아도 되는 방식으로, 레이블이 있는 데이터를 활용한 엔드 투 엔드 거리 측정 학습을 가능하게 하기 위해 삼중체 손실과 같은 대체 훈련 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 전체 단순 복합체에 대해 그 토폴로지적 및 구조적 관계를 유지하는 유일한 저차원 임베딩을 학습할 수 있는가?
• RQ2 기하 메시지 전달이 다양한 토폴로지적 구조 간의 복합체 간 유사성을 얼마나 효과적으로 포착하는가?
• RQ3 학습 세트에 포함되지 않은 새로운 단순 복합체(예: 테스트 메쉬)에 대해 일반화가 가능한가? 그리고 형태 유사성 기반으로 군집화할 수 있는가?
• RQ4 사전 계산된 거리 행렬을 사용하는 것과 삼중체 손실을 통한 엔드 투 엔드 거리 측정 학습 간의 상호 갈등은 무엇인가?
• RQ5 학습된 임베딩이 토폴로지 데이터에서의 분류 및 유사도 순서 정렬과 같은 후속 작업을 어느 정도 지원할 수 있는가?

주요 결과

• 모델은 얼굴, 머리, 말과 같은 동일한 카테고리의 메쉬들을 2차원 임베딩 공간에서 공간적으로 일관된 군집으로 성공적으로 분류한다.
• 고양이, 코끼리, 낙타 메쉬에 대해 훈련을 하지 않았음에도 불구하고, 이들은 유사한 구조적 특성을 가진 대체 동물들 근처에 정확히 임베딩되며, 강력한 일반화 능력을 보여준다.
• 구조적으로 유사한 동물들, 예를 들어 네 발로 걷는 동물들은 서로 가까운 거리에 임베딩되어 있어, 모델이 형태 기반의 유사성을 효과적으로 포착할 수 있음을 시사한다.
• 2차원 임베딩 차원을 사용함으로써 시각적 검토가 가능하며, 학습된 표현이 의미 있는 토폴로지적 관계를 유지하고 있음을 확인할 수 있다.
• 영속 homology 또는 Hausdorff 측정법을 통해 계산된 거리 행렬에 의존함으로써, 명시적 레이블이 없이도 효과적인 비지도 표현 학습을 달성한다.
• 삼중체 손실을 통한 향후 엔드 투 엔드 훈련이 가능하며, 이는 거리 행렬의 사전 계산이 필요 없이도 성능를 유지할 수 있음을 보여주며, 잠재적인 전망을 제시한다.