[논문 리뷰] Integrating Deep Learning with Logic Fusion for Information Extraction

Wenya Wang, Sinno Jialin Pan|arXiv (Cornell University)|2019. 12. 06.

Topic Modeling참고 문헌 34인용 수 7

한 줄 요약

이 논문은 딥러닝과 1차 논리 규칙을 통합하는 통합 프레임워크를 제안하여 엔드 투 엔드 정보 추출을 수행한다. 트랜스포머 기반 신경망과 논리 모듈을 불일치 손실을 통해 연결하여 신경망 예측과 논리적 제약 조건을 함께 최적화한다. 모델은 데이터와 상징 지식을 함께 학습함으로써 의견 대상 추출 및 엔드 투 엔드 관계 추출 작업에서 최신 기술 수준의 성능을 달성하며, 수렴 속도가 빠르고 일반화 성능이 향상된다.

ABSTRACT

Information extraction (IE) aims to produce structured information from an input text, e.g., Named Entity Recognition and Relation Extraction. Various attempts have been proposed for IE via feature engineering or deep learning. However, most of them fail to associate the complex relationships inherent in the task itself, which has proven to be especially crucial. For example, the relation between 2 entities is highly dependent on their entity types. These dependencies can be regarded as complex constraints that can be efficiently expressed as logical rules. To combine such logic reasoning capabilities with learning capabilities of deep neural networks, we propose to integrate logical knowledge in the form of first-order logic into a deep learning system, which can be trained jointly in an end-to-end manner. The integrated framework is able to enhance neural outputs with knowledge regularization via logic rules, and at the same time update the weights of logic rules to comply with the characteristics of the training data. We demonstrate the effectiveness and generalization of the proposed model on multiple IE tasks.

연구 동기 및 목표

• 정보 추출 작업에서 복잡한 구조적 관계를 포착하지 못하는 딥러닝 모델의 한계를 해결한다.
• 순수 신경망에서의 해석 불가능성과 사전 지식 통합 부족 문제를 상징 논리 규칙을 통합함으로써 극복한다.
• 형식 논리로 인한 엔티티 유형과 관계 간의 의존성 모델링을 통해 엔티티와 관계의 공동 추론을 가능하게 한다.
• 신경망과 논리 컴포넌트가 훈련 중 상호 정규화할 수 있는 학습 가능한 엔드 투 엔드 프레임워크를 개발한다.
• 데이터 기반 학습과 도메인 특화 논리 제약 조건을 융합하여 저자원 정보 추출 작업에서의 모델 일반화 능력과 성능을 향상시킨다.

제안 방법

• 장거리 의존성을 모델링하기 위해 다중 헤드 어텐션을 활용한 컨텍스트 기반 단어 수준 표현을 학습하기 위해 트랜스포머 기반 신경망을 사용한다.
• 예를 들어 $Live\_In(Z,X)\wedge person(Z)\Rightarrow location(X)$ 와 같은 1차 논리(FOL) 규칙으로 도메인 지식을 표현하여 엔티티와 관계 간의 복잡한 제약 조건을 인코딩한다.
• 훈련 데이터 호환성에 따라 규칙 신뢰도를 동적으로 조정할 수 있도록 각 논리 규칙에 대해 학습 가능한 가중치를 도입한다.
• 함수 매핑을 통해 신경망 출력을 논리 모듈에 매핑하여 분산 표현 위에서 논리 추론이 가능하도록 한다.
• 신경망 예측과 논리 모듈 출력 간의 불일치 손실을 최소화하여 일관성을 강제하고 딥러닝 모델을 정규화한다.
• 백프로파게이션을 사용하여 전체 시스템을 엔드 투 엔드로 훈련시켜 신경망 가중치와 논리 규칙 가중치를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 1차 논리 규칙이 정보 추출 작업에서 엔티티와 관계 간의 복잡하고 고수준의 관계를 효과적으로 포착하고 강제할 수 있는가?
• RQ2 신호 논리와 딥러닝 네트워크를 융합함으로써 저자원 정보 추출 작업에서의 일반화 능력과 성능 향상이 어떻게 이루어지는가?
• RQ3 표준 훈련 전략에 비해 불일치 손실 메커니즘이 모델의 강건성과 수렴 속도 향상에 얼마나 기여하는가?
• RQ4 공동 학습 프레임워크가 엔드 투 엔드 관계 및 엔티티 추출에서 순수 신경망 또는 순수 논리 규칙을 사용하는 모델보다 우월한가?
• RQ5 어떤 구성 요소들—예를 들어 어텐션 메커니즘, 레이블 임베딩, 논리 규칙—이 공동 추론에서 최종 성능에 어떻게 영향을 미치는가?

주요 결과

• 제안된 모델인 TransF는 의견 대상 추출(OTE) 및 엔드 투 엔드 관계 추출(RE) 작업에서 최신 기술 수준의 성능을 달성한다.
• TransF는 (Sun et al. 18) G와 같은 강력한 베이스라인을 초월하여 특히 관계 추출에서 뛰어난 성능을 보이며, 더 빠른 수렴 속도를 보인다—기존 베이스라인 대비 500회 이상의 에포크가 필요한 데 비해 TransF는 20 에포크 내에 높은 성능에 도달한다.
• 논리 규칙를 포함한 모델(TransF + SR + RR)은 표준 트랜스포머 베이스라인 대비 뚜렷한 성능 향상을 보이며, 명시적 상징 제약 조건의 가치를 입증한다.
• 어텐션 기능을 제거한 모델(TransF $-\alpha$)은 관계 예측 성능이 열 劣화되어 어텐션 메커니즘이 엔티티 상호작용을 모델링하는 데 중요한 역할을 함을 확인한다.
• 레이블 임베딩의 사용은 엔티티 추출 성능을 약간 향상시키지만, 명시적 논리 규칙이 더 큰 성능 향상을 이끌어내어 분할 및 유형 의존성 모델링에서의 효과성을 입증한다.
• 불일치 손실 메커니즘은 효과적인 지식 정복을 가능하게 하여 논리 규칙이 신경망 예측을 정규화하고, 반대로 신경망 예측이 논리 규칙을 정규화함으로써 더 안정적이고 정확한 공동 추론을 이끌어낸다.