[논문 리뷰] Neural Networks Enhancement through Prior Logical Knowledge.

Alessandro Daniele, Luciano Serafini|arXiv (Cornell University)|2020. 09. 13.

Natural Language Processing Techniques참고 문헌 22인용 수 7

한 줄 요약

KENN은 보편적으로 양화된 일阶 논리(FOL) 문장의 형태로 사전 지식을 신경망에 통합하여 예측을 정교화하는 지식 인식 최종 레이어를 생성함으로써 신경망 성능을 향상시킨다. 이 방법은 다중 레이블 분류 및 관계 학습 작업에서 성능 향상을 이끌어내며, 자동으로 추출된 지식과 수동으로 코딩된 지식을 사용할 경우 VRD 및 Citeseer 데이터셋에서 성능 향상을 관찰할 수 있다.

ABSTRACT

In the recent past, there has been a growing interest in Neural-Symbolic Integration frameworks, i.e., hybrid systems that integrate connectionist and symbolic approaches: on the one hand, neural networks show remarkable abilities to learn from a large amount of data in presence of noise, on the other, pure symbolic methods can perform reasoning as well as learning from few samples. By combining the two paradigms, it should be possible to obtain a system that can both learn from data and apply inference over some background knowledge. Here we propose KENN (Knowledge Enhanced Neural Networks), a Neural-Symbolic architecture that injects prior knowledge, codified in a set of universally quantified FOL clauses, into a neural network model. In KENN, clauses are used to generate a new final layer of the neural network which modifies the initial predictions based on the knowledge. Among the advantages of this strategy, there is the possibility to include additional learnable parameters, the clause weights, each of which represents the strength of a specific clause. We evaluated KENN on two standard datasets for multi-label classification, showing that the injection of clauses, automatically extracted from the training data, sensibly improves the performances. In a further experiment with manually curated knowledge, KENN outperformed state-of-the-art methods on the VRD Dataset, where the task is to classify relationships between detected objects in images. Finally, to evaluate how KENN deals with relational data, we tested it with different learning configurations on Citeseer, a standard dataset for Collective Classification. The obtained results show that KENN is capable of increasing the performances of the underlying neural network even in the presence of relational data obtaining results in line with other methods that combine learning with logic.

연구 동기 및 목표

• 소수의 예시로부터 일반화하는 데 어려움을 겪는 순수 신경망의 한계를 해결하기 위해.
• 노이즈가 많거나 데이터가 부족한 환경에서 기호 시스템의 취약성을 극복하기 위해 신경 학습 능력과 결합하기 위해.
• 엔드 투 엔드 학습이 가능하면서도 논리 문장을 통해 해석 가능성 유지가 가능한 신경-기호 프레임워크를 개발하기 위해.
• 자동으로 추출된 지식과 수동으로 코딩된 지식의 두 형태로 논리 지식을 통합할 경우 다양한 학습 작업에서의 효과를 평가하기 위해.
• 지식 강화된 신경망이 관계 기반 및 다중 레이블 분류 작업에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• KENN은 보편적으로 양화된 일阶 논리(FOL) 문장으로 표현된 사전 지식을 신경망의 최종 레이어에 통합한다.
• 시스템은 FOL 문장을 기반으로 새로운 레이어를 구성하며, 이는 논리적 추론을 통해 초기 신경망 예측을 수정한다.
• 각 FOL 문장은 예측 정밀화 과정에서의 강도 또는 신뢰도를 나타내는 학습 가능한 가중치 파rameter와 연관된다.
• 모델은 엔드 투 엔드로 학습되며, 신경망과 문장 가중치 파rameter를 모두 거쳐 기울기 역전파가 가능하다.
• 지식 통합은 추론 시 적용되며, 논리적 제약 조건을 사용하여 네트워크의 초기 출력 확률을 보정하거나 정밀화한다.
• 이 프레임워크는 훈련 데이터에서 문장을 자동으로 추출하거나 특정 작업을 위해 수동으로 지식을 코딩하는 것을 모두 지원한다.

실험 결과

연구 질문

• RQ1 FOL 문장의 형태로 논리 지식을 통합하면 다중 레이블 분류 작업에서 신경망 성능 향상이 가능할까?
• RQ2 자동으로 추출된 논리 문장과 수동으로 코딩된 지식을 사용할 경우 KENN의 효과는 어떠한가?
• RQ3 KENN은 관계 데이터를 효과적으로 처리할 수 있는가, 특히 집합적 분류 설정에서?
• RQ4 학습 가능한 문장 가중치를 포함하면 고정된 논리 제약 조건보다 모델의 적응성과 성능 향상이 향상되는가?
• RQ5 VRD와 같은 관계 학습 벤치마크에서 KENN은 최신 기술 수준의 방법과 비교해 어떻게 성과를 내는가?

주요 결과

• 자동으로 훈련 데이터에서 추출된 FOL 문장을 사용할 경우, KENN은 두 가지 표준 다중 레이블 분류 데이터셋에서 성능 향상을 크게 개선한다.
• VRD 데이터셋에서 수동으로 코딩된 논리 지식을 사용할 경우, KENN은 관계 기반 이미지 분류 작업에서 최신 기술 수준의 방법을 능가한다.
• Citeseer 데이터셋에서 KENN은 전용 관계 학습 방법과 비슷한 성능을 달성하여 집합적 분류 작업에서의 효과성을 입증한다.
• 학습 가능한 문장 가중치의 도입으로 모델은 다양한 논리 규칙의 영향력을 적응적으로 조정할 수 있게 되어 강건성과 일반화 능력이 향상된다.
• 논리 지식 통합은 데이터가 부족하거나 노이즈가 많은 환경에서 더 신뢰할 수 있고 해석 가능한 예측을 이끌어낸다.