[논문 리뷰] Lifted Relational Neural Networks

Gustav Šourek, Vojtech Aschenbrenner외 2명|arXiv (Cornell University)|2015. 08. 20.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 36

한 줄 요약

이 논문은 가중관계규칙에서 예제별 신경망 구조를 전개함으로써 관계논리와 딥퍼워드 신경망을 결합한 리프티드 관계형 신경망(LRNNs) 프레임워크를 소개한다. 이 방법은 공유된 규칙 기반 가중치를 통해 잠재적 관계 개념의 엔드 투 엔드 학습을 가능하게 하여 78개의 관계학습 벤치마크에서 최신 기술 수준의 성능을 달성하며, 해석 가능한 관계 패턴의 효과적 발견을 보여준다.

ABSTRACT

We propose a method combining relational-logic representations with neural network learning. A general lifted architecture, possibly reflecting some background domain knowledge, is described through relational rules which may be handcrafted or learned. The relational rule-set serves as a template for unfolding possibly deep neural networks whose structures also reflect the structures of given training or testing relational examples. Different networks corresponding to different examples share their weights, which co-evolve during training by stochastic gradient descent algorithm. The framework allows for hierarchical relational modeling constructs and learning of latent relational concepts through shared hidden layers weights corresponding to the rules. Discovery of notable relational concepts and experiments on 78 relational learning benchmarks demonstrate favorable performance of the method.

연구 동기 및 목표

• 관계 데이터를 위한 관계논리를 신경망과 통합하는 딥러닝 프레임워크를 개발하는 것.
• 리프티드 아키텍처에서 공유된 규칙 기반 가중치를 통해 잠재적 관계 구조의 학습을 가능하게 하는 것.
• 관계 데이터로부터 해석 가능한 관계 개념의 계층적 모델링과 발견을 지원하는 것.
• 다양한 관계학습 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.
• 관계 표현 학습을 위한 유연하고 해석 가능하며 확장 가능한 방법을 제공하는 것.

제안 방법

• 프레임워크는 예를 들어 일阶논리에서 유도된 가중관계규칙의 집합을 사용하여 예제별로 구조가 다른 신경망 아키텍처를 전개한다.
• 각 지상화된 신경망은 주어진 예제의 관계적 구조에 기반하여 구성되며, 공유된 가중치는 기반이 되는 규칙에 연결된다.
• 경사하강법을 통해 가중치가 갱신되어 서로 다른 예제별로 구조가 다른 네트워크 간의 매개변수 공진화가 가능하다.
• 재귀적 규칙 적용과 잠재적 개념 학습을 위한 공유된 은닉층을 통해 계층적 모델링을 지원한다.
• 관계규칙은 수동으로 작성하거나 인덕티브 논리 프로그래밍 기법을 통해 학습할 수 있다.
• 아키텍처는 관계분류 작업에 특화된 활성화 함수와 손실 함수를 지원한다.

실험 결과

연구 질문

• RQ1 규칙 기반 템플릿과 엔드 투 엔드 백프로파게이션을 결합함으로써 리프티드 신경망 프레임워크가 관계학습 데이터에서 효과적으로 학습할 수 있는가?
• RQ2 명시적 특징 공학 없이도 의미 있는 잠재적 관계 개념을 발견할 수 있는가?
• RQ3 예제별로 구조가 다른 네트워크 간의 공유 가중치 메커니즘이 관계학습 벤치마크에서 일반화 및 성능 향상에 기여하는가?
• RQ4 LRNN의 성능가 기존 최신 기술 수준의 관계학습 시스템과 비교해보면 어떻게 되는가?
• RQ5 복잡한 관계학습 데이터셋에 대해 확장성은 유지하면서도 학습된 규칙의 해석 가능성을 유지할 수 있는가?

주요 결과

• LRNNs는 kFOIL 및 nFOIL과 같은 기존 방법들을 능가하는 성능을 보이며, 78개의 관계학습 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• Mutagenesis 데이터셋에서 LRNNs는 미토젠성에 영향을 주는 것으로 알려진 C-C-F, N-O, C-Cl와 같은 화학적으로 관련된 원자 체인을 발견했다.
• 학습된 규칙 가중치의 시각화를 통해 분자의 구조적 원자 조합에 해당하는 Kappa1–Kappa3와 같은 해석 가능한 잠재적 개념을 확인할 수 있었다.
• PTC-mr, DMS_114, NCI_H522와 같은 다양한 데이터셋에서 우수한 성능을 보였으며, 예측 오차가 일관되게 향상되었다.
• 실험을 통해 기존의 비용이 많이 드는 EM 알고리즘에 의존하는 전통적인 리프티드 모델의 한계를 극복하고, 잠재적 관계 구조의 매개변수를 효과적으로 학습할 수 있음을 확인했다.
• 공유된 은닉층을 통한 보조 관계 개념 유도가 성공적으로 이루어져, 계층적 관계 표현 학습의 능력을 검증했다.