[논문 리뷰] Incidence Networks for Geometric Deep Learning

Marjan Albooyeh|arXiv (Cornell University)|2019. 01. 01.

Topological and Geometric Data Analysis참고 문헌 39인용 수 11

한 줄 요약

이 논문은 그래프, 심플렉스 복합체, 다면체와 같은 구조적 기하 데이터를 위한 등변(deep learning) 모델인 Incidence Networks를 소개한다. Incidence 텐서를 사용하여 이러한 데이터를 표현하며, 등변 선형 사상이 효율적인 풀링 및 브로드캐스트 연산으로 분해됨을 보여주며, 파arameter 수를 줄이면서도 대칭성을 유지한다. 주요 결과로는 대칭군 작용 하에서 이러한 사상이 얼굴-벡터 분해를 통해 체계적으로 구성될 수 있음을 밝힌다.

ABSTRACT

Sparse incidence tensors can represent a variety of structured data. For example, we may represent attributed graphs using their node-node, node-edge, or edge-edge incidence matrices. In higher dimensions, incidence tensors can represent simplicial complexes and polytopes. In this work, we formalize incidence tensors, analyze their structure, and present the family of equivariant networks that operate on them. We show that any incidence tensor decomposes into invariant subsets. This decomposition, in turn, leads to a decomposition of the corresponding equivariant layer that allows efficient and intuitive pooling-and-broadcasting implementation, for both dense and sparse tensors. We demonstrate the effectiveness of this family of networks by reporting state-of-the-art on graph learning tasks for many targets in the QM9 dataset.

연구 동기 및 목표

• 그래프, 심플렉스 복합체, 다면체와 같은 구조적 기하 데이터를 위한 통합 표현으로 incidence 텐서를 공식화하기.
• 특히 대칭군 작용 하에서 기하 구조의 대칭성을 존중하는 등변 딥러닝 모델을 설계하기.
• incidence 텐서 위의 등변 선형 사상을 효율적이고 파arameter 효율적인 풀링 및 브로드캐스트 연산으로 분해하기.
• Maron 등(2018)의 기존 등변 모델들을 일반화하고 통합하여, 그것들이 제안된 프레임워크의 특수한 경우임을 보여주기.
• 얼굴-벡터 분해와 궤도 기반 파arameter 공유를 통해 효율적이고 모듈적이며 확장 가능한 기하 딥러닝을 가능하게 하기.

제안 방법

• 다양한 차원의 면들 간의 인cidense 패턴을 코딩하는 희소 incidence 텐서를 사용해 기하 데이터를 표현하기.
• 전역 대칭군으로서 대칭군 SN을 사용하여, 다양한 기하 구조의 자동형군이 다를지라도 등변성을 보장하기.
• incidence 텐서를 고정된 크기의 면에 대응하는 불변 부분집합(궤도)으로 분해하여 각 차원에 대해 얼굴-벡터를 형성하기.
• incidence 텐서 위의 등변 선형 사상을 서로 다른 크기의 얼굴-벡터 간의 풀링 및 브로드캐스트 연산의 선형 조합으로 특성화하기.
• 유효한 풀링 및 브로드캐스트 구성 수를 세는 공식 τm→m′ = ∑m=0min(M,M′) (M choose m)(M′ choose m)m! 을 사용해 독립적 파arameter 수를 유도하기.
• 같은 구조적 패턴을 공유하는 파arameter를 얼굴-벡터 분해를 통해 공유하면서, 이러한 등변 레이어를 스택하여 Incidence Networks를 구성하기.

실험 결과

연구 질문

• RQ1 incidence 텐서를 어떻게 체계적으로 사용하여 그래프, 심플렉스 복합체, 다면체와 같은 다양한 기하 데이터 구조를 표현할 수 있는가?
• RQ2 대칭군 작용 하에서 incidence 텐서 위의 등변 선형 사상의 구조는 어떠한가? 그리고 어떻게 분해할 수 있는가?
• RQ3 기하 데이터를 위한 등변 모델을, 개별 사례의 자동형군 대신 전역 대칭군을 사용함으로써 효율적이고 일반화 가능한 방식으로 만들 수 있는가?
• RQ4 incidence 텐서 위의 모든 등변 선형 사상을 구성하는 데 필요한 최소한의 연산은 무엇이며, 어떻게 효율적으로 파arameter화할 수 있는가?
• RQ5 Maron 등(2018)의 기존 등변 모델들은 이 풀링 및 브로드캐스트 연산의 통합 프레임워크에 어떻게 통합되는가?

주요 결과

• 모든 incidence 텐서는 대칭군 작용 하에서 불변 궤도로 분해되며, 이는 고정된 크기의 면에 대응하여 얼굴-벡터 표현을 가능하게 한다.
• incidence 텐서 위의 등변 선형 사상은 효율적인 풀링 및 브로드캐스트 연산으로 분해되며, 이러한 연산의 수는 τm→m′ = ∑m=0min(M,M′) (M choose m)(M′ choose m)m! 으로 주어진다.
• 레이어 내의 독립적 파arameter 총 수는 τ = ∑m,m′ κ′m′κmτm→m′ 으로 주어지며, 이는 난이도 파arameter화보다 크게 줄어든다.
• 이 프레임워크는 기존 등변 모델을 일반화하고 통합하며, Maron 등(2018)의 모델들이 제안된 풀링 및 브로드캐스트 구성의 특수한 경우임을 보여준다.
• D차수의 노드-노드-...-노드 텐서의 경우 총 파arameter 수는 Bell(2D)이며, 이는 Maron 등(2018)의 결과와 일치하여 프레임워크의 일관성을 검증한다.
• 모델은 밀도 있는 가중치 행렬을 구조적이고 희소성에 민감한 풀링 및 브로드캐스트 연산으로 대체함으로써 파arameter 효율성을 달성하며, 등변성을 유지하면서 복잡성을 줄인다.