[논문 리뷰] Harnessing Deep Neural Networks with Logic Rules

Zhiting Hu, Xuezhe Ma외 3명|arXiv (Cornell University)|2016. 03. 21.

Topic Modeling참고 문헌 47인용 수 200

한 줄 요약

본 논문은 CNN과 RNN에 1차 논리 규칙을 주입하는 반복적 규칙 지식 증류 프레임워크를 제시하여, 규칙에 기반한 예측을 네트워크 가중치로 증류함으로써 감성분석과 NER 성능을 향상시킨다.

ABSTRACT

Combining deep neural networks with structured logic rules is desirable to harness flexibility and reduce uninterpretability of the neural models. We propose a general framework capable of enhancing various types of neural networks (e.g., CNNs and RNNs) with declarative first-order logic rules. Specifically, we develop an iterative distillation method that transfers the structured information of logic rules into the weights of neural networks. We deploy the framework on a CNN for sentiment analysis, and an RNN for named entity recognition. With a few highly intuitive rules, we obtain substantial improvements and achieve state-of-the-art or comparable results to previous best-performing systems.

연구 동기 및 목표

• 해석 가능성을 높이고 데이터 요구를 줄이기 위해 구조화된 논리 규칙을 깊은 신경망과 통합하는 것을 촉진한다.
• 규칙 지식을 네트워크 매개변수로 전달하는 반복적 교사-학생 증류 프레임워크를 제안한다.
• 간단하고 직관적인 규칙으로 감성 분석을 위한 CNN과 NER를 위한 RNN에서의 효과를 보여준다.

제안 방법

• 연속적 진리 값을 허용하기 위해 규칙을 소프트 로직으로 표현한다.
• 사후 정규화 제약(KL 발산과 규칙 여유)을 적용하여 기본 예측기 p_theta를 투영해 규칙 정규화된 교사 q를 구성한다.
• 학생 p_theta를 q를 모방하도록 학습시키는 동시에 실제 레이블에 맞추어, 비라벨 데이터로 반지도 학습을 가능하게 한다.
• 규칙 지식을 네트워크 매개변수에 증류하기 위해 교사 구성과 학생 훈련을 반복적으로 전환한다.
• 훈련 반복 동안 실제 레이블 학습에서 규칙 모방으로 이동하는 모방 매개변수 pi(t)를 사용한다.

실험 결과

연구 질문

• RQ1 선언적 일차 논리 규칙이 반복적 증류를 통해 일반 신경망 아키텍처(CNN, RNN)에 효과적으로 통합될 수 있는가?
• RQ2 규칙 정보를 포함한 네트워크(학생 p와 교사 q)가 감성 분석과 NER에서 순전히 데이터 기반의 벤치마크를 능가하는가?
• RQ3 소프트 로직 인코딩과 규칙 기반 제약이 반지도 학습 및 데이터 효율성에 어떤 영향을 미치는가?

주요 결과

• 감성 분석에서 Rule-p 및 Rule-q를 적용한 CNN이 기본 CNN을 능가하여 SST2 정확도 88.8%를 달성하고 베이스라인 87.2% 대비 향상되며, 교사 모델로 최대 89.3%에 이른다.
• MR 및 CR 감성 태스크에서 규칙 강화 모델이 기본 CNN보다 정확도가 향상되며, Rule-q가 각각 MR 81.7%, CR 85.3%를 달성한다.
• CoNLL-2003 NER에서 전이 규칙 및 리스트 기반 제약을 도입하면 교사 q의 F1이 (91.11 및 91.18)으로 기본 BLSTM(89.55)보다 높다.
• 교사 모델 q는 일반적으로 증류된 학생 p보다 우수하며, 특히 규칙이 교차 구간 의존성을 유도할 때 그렇다.
• 비라벨 데이터를 활용한 반지도 학습 변형이 성능을 더욱 향상시키며, 특히 라벨이 적은 경우에 그렇다.