[논문 리뷰] Generalize Symbolic Knowledge With Neural Rule Engine

Li Shen, Hengru Xu외 1명|arXiv (Cornell University)|2018. 08. 30.

Natural Language Processing Techniques참고 문헌 30인용 수 9

한 줄 요약

이 논문은 신경망을 통해 기호 논리 규칙을 보완함으로써 일반화 능력을 향상시키면서도 정밀도와 해석 가능성은 유지하는 신경-기호 프레임워크인 신경 규칙 엔진(Neural Rule Engine, NRE)을 제안한다. 정규 표현식을 학습 가능한 파서와 재사용 가능한 기호 모듈을 갖춘 신경 모듈 네트워크로 변환함으로써 NRE는 최대 33.82%까지의 Recall 향상을 달성하며, 의미적으로 유사한 패턴으로의 일반화 능력이 뛰어나고 동작 시퀀스가 최적화되어 있다.

ABSTRACT

As neural networks have dominated the state-of-the-art results in a wide range of NLP tasks, it attracts considerable attention to improve the performance of neural models by integrating symbolic knowledge. Different from existing works, this paper investigates the combination of these two powerful paradigms from the knowledge-driven side. We propose Neural Rule Engine (NRE), which can learn knowledge explicitly from logic rules and then generalize them implicitly with neural networks. NRE is implemented with neural module networks in which each module represents an action of a logic rule. The experiments show that NRE could greatly improve the generalization abilities of logic rules with a significant increase in recall. Meanwhile, the precision is still maintained at a high level.

연구 동기 및 목표

• 저자료 상황에서 기호 논리 규칙의 일반화 능력이 제한된 문제를 해결한다.
• 정밀도 또는 해석 가능성 손실 없이 규칙 기반 시스템의 유연성과 강건성을 향상시킨다.
• 신경망을 신경 모델을 향상시키기 위한 것이 아니라, 기호 지식 자체를 향상시키기 위해 기호 논리와 통합한다.
• 학습 가능한 모듈식 아키텍처를 개발하여 학습된 레이아웃에 기반해 동적으로 규칙 실행을 조합한다.
• 의미적으로 유사한 용어와 재구성된 동작 시퀀스 간의 효과적인 규칙 일반화를 가능하게 한다.

제안 방법

• 유한 상태 기계 해석을 영감으로 받아 기호 또는 신경 파서를 사용해 정규 표현식(REs)을 액션 트리로 변환한다.
• 각 RE 액션을 맞춤형 신경망 또는 기호 알고리즘을 조합한 신경-기호 모듈로 구현한다.
• 신경 모듈 네트워크(NMN)를 구성하며, 신경 파서가 예측한 레이아웃에 따라 모듈을 동적으로 조립한다.
• 단계별 훈련 전략을 사용한다: 먼저 개별 모듈과 신경 규칙 파서를 사전 훈련한 후, 강화 학습을 통해 공동으로 미세 조정한다.
• 재정의된 또는 덜 관련성이 있는 액션을 제거함으로써 동작 시퀀스를 최적화할 수 있는 레이아웃 파서를 도입한다. 이는 일반화 능력을 향상시킨다.
• 신경망을 활용해 의미 변형(예: 'taken from' → 'extracted from', 'sends into' → 'pushed into')을 일반화하면서도 규칙의 구조를 유지한다.

실험 결과

연구 질문

• RQ1 신경망이 정밀도를 훼손하지 않고 기호 논리 규칙의 일반화 능력을 효과적으로 향상시킬 수 있는가?
• RQ2 신경 모듈을 기호 규칙 실행에 통합하면 다양한 언어 패턴에서의 민첩하고 동적일 수 있는 추론이 가능해지는가?
• RQ3 신경 레이아웃 파서가 규칙 기반 시스템의 동작 시퀀스를 얼마나 잘 최적화하여 Recall과 강건성을 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 자원이 제한된 NLP 작업에서 예상치 못한 의미적으로 유사한 표현으로 일반화할 수 있는가?
• RQ5 강화 학습을 활용한 단계별 훈련 전략이 모듈과 규칙 파싱의 공동 최적화에 어떤 영향을 미치는가?

주요 결과

• NRE는 기준 RE의 17.79%에서 PNAS_ 모델의 33.82%로 Recall을 크게 향상시켰으며, 정밀도는 0.92 이상 유지되었다.
• 모델은 의미 변형 간 일반화가 가능하다: 'extracted from'은 'taken from'과 매칭되며, 'originating'은 'originate'와 매칭된다. 또한 'pushed into'는 'sends into'와 매칭된다.
• 신경 레이아웃 파싱은 불필요한 액션을 줄인다. 예를 들어 '落水管'과 '不锈钢管'은 모두 '管'으로 일반화되어 성능과 강건성이 향상된다.
• NRE 프레임워크는 중국어 형사사건 분류 작업에서 규칙을 성공적으로 일반화하여, 'hammer'와 'steel pipe'로부터 'holding a blunt instrument'을 정확히 식별하였다. 이는 최적화된 동작 시퀀스를 기반으로 이뤄졌다.
• 신경 파서를 사용한 동작 시퀀스 최적화는 기호 규칙 파싱만으로는 처리하기 어려운 모호하거나 복잡한 패턴을 다룰 때 더 뛰어난 성능을 보였다.
• 강화 학습을 활용한 단계별 훈련 전략은 모듈과 레이아웃의 공동 학습을 효과적으로 가능하게 하여 안정적이고 높은 성능의 규칙 실행을 이끌어냈다.