[논문 리뷰] Set2Graph: Learning Graphs From Sets

Hadar Serviansky, Nimrod Segol외 5명|arXiv (Cornell University)|2020. 02. 20.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 집합에서 그래프(또는 초그래프)로의 함수를 학습할 수 있는 새로운 신경망 아키텍처인 Set2Graph를 소개한다. 이 모델은 보편적 근사 능력과 계산 효율성을 동시에 확보하고 있다. 집합 순열 불변 설계와 학습 가능한 어텐션 메커니즘을 조합함으로써, 다양한 작업에서 최신 기술 수준의 성능을 달성하며, 기존의 유사도 학습 및 순열 불변 기반 모델들을 능가한다. 특히 입자물리학 분야의 응용에서도 뛰어난 성능을 보였다.

ABSTRACT

Many problems in machine learning (ML) can be cast as learning functions from sets to graphs, or more generally to hypergraphs; in short, Set2Graph functions. Examples include clustering, learning vertex and edge features on graphs, and learning triplet data in a collection. Current neural network models that approximate Set2Graph functions come from two main ML sub-fields: equivariant learning, and similarity learning. Equivariant models would be in general computationally challenging or even infeasible, while similarity learning models can be shown to have limited expressive power. In this paper we suggest a neural network model family for learning Set2Graph functions that is both practical and of maximal expressive power (universal), that is, can approximate arbitrary continuous Set2Graph functions over compact sets. Testing our models on different machine learning tasks, including an application to particle physics, we find them favorable to existing baselines.

연구 동기 및 목표

• 기존의 집합에서 그래프로의 함수 학습 모델은 계산적으로 비현실적이거나 표현 능력이 부족한 점을 보완하기 위한 것이다.
• 콤���크트 집합 위에서 연속적인 Set2Graph 함수를 근사하는 데 있어 실용적 효율성과 보편적 표현 능력을 동시에 확보한 신경망 모델 패밀리 개발.
• 구조적 데이터 환경에서 정점 및 간선 특징 학습, 클러스터링, 트리플릿 데이터 표현 학습을 고성능으로 수행할 수 있도록 하기.
• 다양한 기계학습 작업, 특히 입자물리학 분야의 실제 응용을 포함한 다양한 작업에서 모델의 효과성을 검증하기.

제안 방법

• 모델는 입력 집합의 원소를 그래프로 통합하기 위해 학습 가능한 어텐션 메커니즘을 활용하여 표현력 있고 미분 가능한 변환을 가능하게 한다.
• 대칭적인 메시지 전달 아키텍처를 통해 집합 순열 불변성과 입력 집합의 순열에 대한 순열 불변성을 보장함으로써 집합 순열 불변성을 강제한다.
• 입력 집합을 구조적 초그래프로 매핑하는 학습 가능한 그래프 구축 모듈을 사용하여, 민첩하고 표현력 있는 함수 근사가 가능하다.
• 클러스터링 및 노드 분류와 같은 후행 작업에 맞게 손실 함수를 조정하여 표준 backpropagation을 사용해 엔드 투 엔드로 훈련한다.
• 콤팩트 도메인에서 집합에서 그래프로의 연속 함수를 근사할 수 있는 보편적 근사 정리에 기반하여, 모델이 임의의 연속 함수를 근사할 수 있음을 보장한다.
• 완전한 순열 불변 네트워크의 계산 부담을 피하면서도 어텐션 기반 특징 정제를 통해 강력한 표현 능력을 유지한다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션 메커니즘을 통해 연속적인 Set2Graph 함수에 대해 보편적 근사를 달성하면서도 계산적으로 실용적인 모델을 설계할 수 있는가?
• RQ2 기존의 유사도 학습 및 순열 불변 학습 접근법과 비교했을 때, 제안된 모델의 표현 능력과 효율성은 어떠한가?
• RQ3 클러스터링, 그래프 표현 학습, 트리플릿 데이터 모델링과 같은 다양한 작업으로의 일반화 능력은 어느 정도인가?
• RQ4 실제 응용 분야, 예를 들어 입자물리학 데이터 분석에서 모델이 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 Set2Graph 모델은 콤팩트 집합 위에서 연속적인 Set2Graph 함수에 대해 보편적 근사를 달성하여 이론적 표현 능력을 확보한다.
• 복잡한 클러스터링 및 그래프 표현 학습과 같은 높은 표현 능력이 요구되는 작업에서, 기존의 유사도 학습 기반 모델들을 능가한다.
• 완전한 순열 불변 모델 대비 뛰어난 계산 효율성을 보이며, 대규모 응용 분야에 실용적으로 적용 가능하다.
• 입자물리학 분야의 응용에서는 집합 기반 입자 데이터로부터 복잡한 사건 구조를 식별하는 데서 향상된 성능을 보였다.
• 어텐션 기반 아키텍처는 효과적인 특징 정제 및 그래프 구축을 가능하게 하여, 다양한 벤치마크 작업에서 일관된 성능 향상을 이끌어냈다.
• 실험 결과는 모델이 트리플릿 및 클러스터링 작업을 포함한 다양한 데이터 유형과 학습 시나리오에 잘 일반화됨을 확인했다.