[논문 리뷰] Knowledge Enhanced Neural Networks for relational domains

Alessandro Daniele, Luciano Serafini|arXiv (Cornell University)|2022. 05. 31.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 다중 잔차 논리층을 도입하여 지식 강화 신경망(KENN)을 관계형 데이터를 처리할 수 있도록 확장한다. 이는 단항 및 이항 술어에 대한 스케일러블 추론을 가능하게 하며, 사전 논리 지식을 신경망에 통합한다. 이 방법은 특히 저데이터 환경에서 정확도를 향상시키면서도 높은 효율성을 유지하여 Citeseer 데이터셋에서 SBR 및 RNM보다 성능과 학습 속도 면에서 뛰어나다.

ABSTRACT

In the recent past, there has been a growing interest in Neural-Symbolic Integration frameworks, i.e., hybrid systems that integrate connectionist and symbolic approaches to obtain the best of both worlds. In this work we focus on a specific method, KENN (Knowledge Enhanced Neural Networks), a Neural-Symbolic architecture that injects prior logical knowledge into a neural network by adding on its top a residual layer that modifies the initial predictions accordingly to the knowledge. Among the advantages of this strategy, there is the inclusion of clause weights, learnable parameters that represent the strength of the clauses, meaning that the model can learn the impact of each rule on the final predictions. As a special case, if the training data contradicts a constraint, KENN learns to ignore it, making the system robust to the presence of wrong knowledge. In this paper, we propose an extension of KENN for relational data. One of the main advantages of KENN resides in its scalability, thanks to a flexible treatment of dependencies between the rules obtained by stacking multiple logical layers. We show experimentally the efficacy of this strategy. The results show that KENN is capable of increasing the performances of the underlying neural network, obtaining better or comparable accuracies in respect to other two related methods that combine learning with logic, requiring significantly less time for learning.

연구 동기 및 목표

• 기존 버전이 행렬 기반 표현 방식으로 인해 처리할 수 없었던 단항 및 이항 술어를 포함한 관계형 데이터를 지원하기 위해 KENN 프레임워크를 확장하는 것.
• 실제 관계형 도메인에서 논리 규칙 간 독립성 가정 위반 문제를 해결하기 위해 다중 스택형 논리층을 도입하는 것.
• 특히 저데이터 및 복잡한 관계형 환경에서 지식 주입의 확장성과 강건성을 향상시키는 것.
• 집합 분류 작업에서 기존 신경-심볼릭 방법(SBR 및 RNM)과의 비교를 통해 확장된 KENN 프레임워크의 효과성을 경험적으로 검증하는 것.

제안 방법

• 기존에 훈련된 신경망에 다중 잔차 논리층을 추가하여 사전 논리 규칙에 기반해 예측을 수정하는 방식.
• 다양한 가중치를 적용한 잔차 연결을 통해 미분 가능한 제약 조건으로 논리 지식을 표현함으로써 엔드 투 엔드 학습을 가능하게 함.
• 각 규칙별로 학습 가능한 클라우즈 가중치를 도입하여 모델이 각 논리 제약 조건의 영향력을 동적으로 조정할 수 있도록 함.
• 표 형태를 초월한 관계 구조를 처리할 수 있도록 입력 표현을 재정의함으로써 단항 및 이항 술어를 모두 지원.
• 규칙 간 의존성을 모델링하기 위해 다중 논리층을 스택하는 전략을 도입하여 독립성 가정의 제약을 극복함.
• 복잡한 규칙 집합이 존재하더라도 높은 학습 효율성을 유지할 수 있는 유연하고 확장 가능한 아키텍처를 채택함.

실험 결과

연구 질문

• RQ1 KENN는 단항 및 이항 술어를 모두 처리할 수 있도록 효과적으로 확장될 수 있는가?
• RQ2 규칙 간 독립성 가정 위반이 발생할 경우, 다중 논리층 스택이 성능 향상에 기여하는가?
• RQ3 관계형 데이터셋에서 정확도 및 학습 효율성 측면에서 확장된 KENN는 SBR 및 RNM와 비교해 어떻게 성능을 내는가?
• RQ4 지식 주입은 라벨이 부여된 훈련 데이터의 양을 얼마나 줄일 수 있는가?

주요 결과

• 3개의 KE 층을 가진 KENN는 훈련 데이터가 10%에 불과한 추론 시나리오에서 테스트 정확도 0.110을 기록했으며, 이는 50% 데이터로 학습한 표준 신경망과 동일한 성능을 달성했다.
• KE 층을 통한 지식 주입으로 인해 저데이터 환경에서 정확도가 향상되었으며, 데이터 효율성이 두 배로 증가하여 훈련 세트 크기를 두 배로 늘린 것과 동일한 효과를 보였다.
• 유도적 및 추론적 설정 모두에서 KENN는 SBR 및 RNM를 앞서며, 특히 저데이터 환경에서 성능 격차가 가장 컸다.
• KENN는 평균 7.96초의 학습 시간을 기록하여 SBR(87.36초) 및 RNM(215.69초)보다 훨씬 빠르며, 뛰어난 확장성을 입증했다.
• 더 많은 KE 층을 추가할수록 정확도가 일정 수준까지 향상되다가 안정화됨을 확인하여, 이는 방법의 강건성과 최적 깊이 초과 시 수익 감소 현상을 확인했다.
• 유도적 설정에서 SBR는 최소한의 성능 향상만을 보였지만, KENN와 RNM는 높은 성능 유지로 모델 기반 접근이 정규화 기반 접근보다 더 효과적임을 시사했다.