[논문 리뷰] RelNN: A Deep Neural Model for Relational Learning

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|2017. 12. 07.

Bayesian Modeling and Causal Inference인용 수 17

한 줄 요약

이 논문은 관계 학습을 위한 딥 뉴럴 네트워크 아키텍처인 RelNN을 소개한다. RelNN은 다중 히든 레이어를 추가하여 잠재적 객체 성질을 직접적으로 및 일반 규칙를 통해 모델링함으로써 관계 로지스틱 회귀를 확장한다. 역전파와 모듈러한 레이어별 설계를 통해 RelNN은 세 개의 실세계 데이터셋에서 여덟 가지 작업에서 최신 기술 수준의 성능을 달성하며, 기존 모델이 집계 및 객체 성질 예측에서 어려움을 겪는 데 비해 개선된 확장성과 일반화 능력을 보여준다.

ABSTRACT

Statistical relational AI (StarAI) aims at reasoning and learning in noisy domains described in terms of objects and relationships by combining probability with first-order logic. With huge advances in deep learning in the current years, combining deep networks with first-order logic has been the focus of several recent studies. Many of the existing attempts, however, only focus on relations and ignore object properties. The attempts that do consider object properties are limited in terms of modelling power or scalability. In this paper, we develop relational neural networks (RelNNs) by adding hidden layers to relational logistic regression (the relational counterpart of logistic regression). We learn latent properties for objects both directly and through general rules. Back-propagation is used for training these models. A modular, layer-wise architecture facilitates utilizing the techniques developed within deep learning community to our architecture. Initial experiments on eight tasks over three real-world datasets show that RelNNs are promising models for relational learning.

연구 동기 및 목표

• 관계 데이터에서 객체 성질을 예측하는 데 도전하는 데, 특히 객체와 관계 간의 의존성이 다양할 경우에 대응하기 위해.
• 기존 모델이 객체 성질을 무시하거나 과적합 또는 고정된 집계 함수로 인해 일반화에 실패하는 데 기인한 한계를 극복하기 위해.
• 명시적이고 잠재적인 객체 성질을 모두 학습할 수 있는 확장 가능한 딥 뉴럴 네트워크 프레임워크를 개발하기 위해.
• 역전파를 통한 엔드 투 엔드 학습을 가능하게 하면서도 딥 러닝 기법과의 통합을 위한 모듈러성을 유지하기 위해.
• 기존 모델이 인구 수가 증가함에 따라 과신하는 경향을 보이는 대규모 관계 도메인에서 일반화 능력을 향상시키기 위해.

제안 방법

• RelNN은 다중 레이어의 관계 로지스틱 회귀(RLR)를 스택하여 관계 데이터 전반에 걸쳐 계층적이고 비선형적인 특징 학습을 가능하게 한다.
• 각 레이어는 지상 원자에 적용된 가중치가 부여된 미분 가능한 규칙를 통해 객체 성질의 잠재적 표현을 학습하며, 파arameter는 역전파를 통해 업데이트된다.
• 모델은 객체 성질의 직접적 학습과 일반 규칙를 통한 간접적 학습을 모두 지원하여 다양한 관계 추론이 가능하다.
• 모듈러하고 레이어 기반의 아키텍처는 활성화 함수 및 정규화 기법과 같은 딥 러닝 원소와의 통합을 가능하게 한다.
• 임베딩의 원소별 연산(예: 내적)을 사용하여 규칙 활성화를 계산하며, 이는 ConvNet 연산과 유사하여 해석 가능성과 확장성을 향상시킨다.
• 학습 복잡도는 데이터 크기와 모델 크기에 비례하여 선형적으로 증가하므로, 최대 100만 건의 관측치를 포함한 대규모 도메인에서도 효율적인 학습이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 객체 성질과 관계적 의존성을 함께 학습할 수 있는, 미분 가능하고 확장 가능한 딥 뉴럴 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 관계 모델에 다중 히든 레이어를 포함함으로써 얕은 모델 대비 집계 작업에서 성능이 어떻게 향상되는가?
• RQ3 잠재적 객체 성질이 통합된 딥 러닝 프레임워크 내에서 직접적이고 규칙 기반으로 동시에 학습될 수 있는 정도는 어느 정도인가?
• RQ4 RelNN의 모듈러하고 레이어 기반 설계가 기존의 관계 기반 딥 러닝 모델보다 더 나은 일반화 능력과 확장성을 제공하는가?
• RQ5 RelNN은 인구 수가 증가함에 따라 관찰되는 과신 문제를 완화할 수 있는가?

주요 결과

• RelNN은 세 개의 실세계 데이터셋에서 여덟 가지 작업에서 기존의 여러 관계 학습 모델보다 뛰어난 예측 성능을 보였다.
• 객체 성질이 관련 객체와 관계의 수에 따라 달라지는 경우에도 효과적으로 집계 문제를 처리했다.
• 텐서 분해 및 RNN 기반 모델과 비교해 복잡한 관계 도메인에서 더 나은 일반화 능력을 보였으며, 이는 훈련 레이블을 암기하거나 새로운 입력 순서에서 실패하는 경향이 있었기 때문이다.
• 모듈러한 아키텍처 덕분에 데이터 크기와 모델 크기에 비례하는 복잡도로 효율적인 학습이 가능하여 대규모 도메인에 대한 확장성 확보가 가능했다.
• 관계 계산 그래프를 통해 역전파를 수행함으로써 규칙 가중치와 잠재적 객체 표현을 동시에 엔드 투 엔드로 학습할 수 있었다.
• 고정된 함수(예: 평균 또는 노이즈가 있는 OR)에 의존하는 대신, 데이터 기반의 유연한 집계기 구현을 통해 대규모 인구에서의 과신 문제를 줄였다.