[논문 리뷰] Equivariant Entity-Relationship Networks

Devon R. Graham, Wang, Junhao외 1명|arXiv (Cornell University)|2019. 03. 21.

Advanced Graph Neural Networks참고 문헌 65인용 수 5

한 줄 요약

이 논문은 관계 데이터의 엔터티 및 관계 대칭성에 대해 등변성을 활용하는 딥러닝 모델인 등변 엔터티-관계 네트워크(EERN)를 소개한다. 관계 데이터베이스를 결합된 희소 텐서로 모델링하고, 엔터티 인스턴스의 순열에 대해 불변인 선형층을 설계함으로써, EERN은 엄격한 데이터 가정 조건 하에서도 CMTF(결합 행렬 텐서 분해)보다도 최신 기술 수준의 성능을 달성하여 누락된 레코드 예측을 수행한다.

ABSTRACT

The relational model is a ubiquitous representation of big-data, in part due to its extensive use in databases. In this paper, we propose the Equivariant Entity-Relationship Network (EERN), which is a Multilayer Perceptron equivariant to the symmetry transformations of the Entity-Relationship model. To this end, we identify the most expressive family of linear maps that are exactly equivariant to entity relationship symmetries, and further show that they subsume recently introduced equivariant maps for sets, exchangeable tensors, and graphs. The proposed feed-forward layer has linear complexity in the data and can be used for both inductive and transductive reasoning about relational databases, including database embedding, and the prediction of missing records. This provides a principled theoretical foundation for the application of deep learning to one of the most abundant forms of data. Empirically, EERN outperforms different variants of coupled matrix tensor factorization in both synthetic and real-data experiments.

연구 동기 및 목표

• 엔터티-관계(ER) 모델의 본질적 대칭성을 존중하는 딥러닝 프레임워크를 개발하여, 입력 순열에 대한 모델 예측이 일관되게 변환되도록 보장한다.
• 데이터 구조에 대한 강력한 생성 가정을 필요로 하는 기존 방법(예: 결합 행렬 텐서 분해, CMTF)의 한계를 해결한다.
• 엔터티 인스턴스 순열에 대해 불변인 일반화 가능한 표현을 학습하여 관계 데이터베이스에서 유추적 및 전이적 추론을 가능하게 한다.
• 입력 크기와 선형적으로 확장되는 이론적으로 탄탄하고 파라미터 효율적인 아키텍처를 제공한다.
• 등변성이 예측 성능 향상에 기여함을 입증하며, 특히 데이터가 적거나 분포가 다를 경우에 효과적임을 보여준다.

제안 방법

• 각 관계 또는 엔터티 속성에 해당하는 텐서로 구성된 결합된 희소 텐서로 관계 데이터베이스를 표현한다.
• 모든 텐서에 걸쳐 관계 구조를 유지하는 엔터티 인스턴스의 순열로 대칭 변환을 정의한다.
• 군 표현 이론을 사용하여 이러한 대칭성에 정확히 등변적인 선형 사상의 증명 가능한 최대 가족을 유도한다.
• 엔터티 인스턴스 간에 가중치를 공유하는 방식으로 가중치가 묶인(feedback) 선형층을 구성함으로써 정의된 대칭성에 대해 등변성을 보장한다.
• 비선형성과 함께 다수의 등변 레이어를 스택하여 자동에코딩을 통해 재구성 학습을 수행하는 깊은 다층퍼셉트론(EERN)을 구성한다.
• 풀링 및 브로드캐스팅 연산을 사용하여 가중치 행렬의 동적 크기 조정을 가능하게 하여, 훈련 중에 보이지 않은 엔터티에 대한 유추 추론을 지원한다.

실험 결과

연구 질문

• RQ1 엔터티-관계 모델의 대칭성에 정확히 등변적인 선형 사상의 완전하고 최대 가족을 유도할 수 있는가?
• RQ2 딥러닝 모델에 등변성을 통합할 경우, 표준 기준 모델 대비 관계 추론 작업에서 성능이 어떻게 향상되는가?
• RQ3 등변 모델은 재학습 없이도 새로운, 보이지 않은 엔터티 인스턴스에 대해 얼마나 잘 일반화되는가?
• RQ4 여러 관계로부터의 보조 정보를 활용하면 목표 관계의 누락된 항목 예측 성능이 향상되는가?
• RQ5 CMTF의 엄격한 분해 가정이 성립하는 상황에서도 등변 모델이 CMTF를 능가할 수 있는가?

주요 결과

• CMTF의 분해 가정이 만족되는 상황에서도 EERN은 합성 및 실세계 데이터셋 모두에서 CMTF를 능가하는 성능을 기록한다.
• 모델은 완전히 새로운 엔터티를 훈련 중에 보지 못한 유추 설정에서도 뛰어난 성능을 보이며, 이는 이식 가능성(transferability)을 입증한다.
• 관련 관계(예: 학생-교수 및 과목-교수 테이블)로부터의 보조 정보를 통합하면 학생-과목 관계의 예측 정확도가 크게 향상된다.
• 훈련 데이터가 증가함에 따라 예측 오차가 감소하며, 재학습 없이도 테스트 시간에 새로운 데이터를 통합함으로써 추가로 오차를 줄일 수 있어 모델의 적응 능력이 뛰어나다.
• 다양한 희소성 수준에서도 일관된 성능을 유지하며, 훈련 또는 테스트 시간에 더 많은 데이터를 관찰할수록 루트 평균 제곱 오차(RMSE)가 감소한다.
• 임bedding의 시각화 결과, 예측된 임베딩과 입력 임베딩이 국소 구조를 유지함을 확인하여, EERN이 의미 있고 일반화 가능한 표현을 학습함을 시사한다.