[논문 리뷰] Leveraging Knowledge Bases in LSTMs for Improving Machine Reading

Bishan Yang, Tom M. Mitchell|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling참고 문헌 46인용 수 27

한 줄 요약

이 논문은 주어진 문맥에 따라 지속적인 지식 기반(KB) 임베딩을 주도적으로 통합하는 동적 attention 메커니즘과 문맥에 따라 언제 그리고 어떤 지식을 사용할지를 결정하는 센티넬 게이트를 통해 연속적인 지식 기반 임베딩을 통합하는 새로운 BiLSTM 아키텍처인 KBLSTM을 제안한다. 이는 WordNet과 NELL 임베딩을 적응적으로 활용하여 ACE2005에서 엔티티 및 이벤트 추출 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 황금 표준 엔티티 애너테이션을 사용하지 않은 이전 방법들을 능가한다.

ABSTRACT

This paper focuses on how to take advantage of external knowledge bases (KBs) to improve recurrent neural networks for machine reading. Traditional methods that exploit knowledge from KBs encode knowledge as discrete indicator features. Not only do these features generalize poorly, but they require task-specific feature engineering to achieve good performance. We propose KBLSTM, a novel neural model that leverages continuous representations of KBs to enhance the learning of recurrent neural networks for machine reading. To effectively integrate background knowledge with information from the currently processed text, our model employs an attention mechanism with a sentinel to adaptively decide whether to attend to background knowledge and which information from KBs is useful. Experimental results show that our model achieves accuracies that surpass the previous state-of-the-art results for both entity extraction and event extraction on the widely used ACE2005 dataset.

연구 동기 및 목표

• 기존의 희박하고 작업에 특화되며 일반화 능력이 떨어지는 기호적 특징에 의존하는 전통적인 RNN 내의 지식 기반 통합 방식의 한계를 해결하기 위해.
• 순환 신경망이 시퀀스 처리 중에 외부 지식 기반을 동적으로 및 문맥적으로 활용할 수 있도록 하기 위해.
• 연속적인 지식 기반 개념 표현(WordNet 및 NELL)을 BiLSTM의 은닉 상태와 통합하여 엔티티 및 이벤트 추출 작업에서 기계 읽기 성능을 향상시키기 위해.
• 언제 KB 지식에 주목할지, 그리고 어떤 KB 개념이 관련성이 있는지를 결정할 수 있는 메커니즘을 개발하여, 다의어 문제나 문맥에 독립적인 KB 사용으로 인한 오분류를 방지하기 위해.

제안 방법

• KBLSTM은 각 타임스텝에서 WordNet과 NELL에서 온 지식 기반 개념의 연속적 임베딩을 은닉 상태 계산에 통합함으로써 양방향 LSTM을 확장한다.
• attention 메커니즘은 현재 입력 단어와 문맥에 대한 의미적 유사도를 기반으로 관련 지식 기반 개념들에 대한 동적 가중치를 계산한다.
• 센티넬 게이트는 KB 지식에 주목할지 또는 오직 텍스트 문맥에 의존할지를 학습함으로써, 문맥 인식 기반 융합을 가능하게 한다.
• 지식 그래프 임베딩은 지식 그래프 임베딩 방법을 사용하여 학습되며, 지식 기반 개념의 연속적이고 조밀한 표현으로 사용된다.
• 엔티티 및 이벤트 추출 작업의 시퀀스 레이블링을 위해 CRF 레이어와 함께 엔드 투 엔드로 모델을 훈련시킨다.
• attention 메커니즘은 KB 개념 임베딩의 가중 평균을 계산하며, 이는 LSTM 은닉 상태와 연결되거나 원소별로 결합된다.

실험 결과

연구 질문

• RQ1 지속적인 지식 기반 임베딩이 순환 신경망에 효과적으로 통합되어 기계 읽기 성능을 향상시킬 수 있는가?
• RQ2 신경망 모델이 현재 텍스트 문맥에 대해 언제 그리고 어떤 지식 기반 외부 KB에서 정보를 활용할지를 동적으로 결정할 수 있는가?
• RQ3 센티넬 메커니즘이 텍스트 문맥이 충분할 경우 오해의 소지가 있는 KB 정보를 무시함으로써 성능 향상을 이룰 수 있는가?
• RQ4 제안된 방법이 엔티티 및 이벤트 추출 벤치마크에서 기존의 특징 기반 지식 기반 통합 및 표준 BiLSTM 모델을 능가하는가?
• RQ5 모델이 다의어어휘(예: 'Clinton')를 문맥 기반 KB attention을 통해 얼마나 잘 해석할 수 있는가?

주요 결과

• KBLSTM-CRF는 ACE2005 이벤트 추출 테스트 세트에서 기존 방법들(황금 표준 엔티티 애너테이션을 사용한 방법 포함)을 능가하는 새로운 최고 성능인 F1 점수 69.7을 기록하였다.
• 이벤트 추출에서 기준 BiLSTM보다 5.0점, BiLSTM-Fea-CRF보다 4.0점 향상된 F1 점수를 기록하여 연속적 KB 통합의 효과를 입증하였다.
• 엔티티 추출에서는 KBLSTM-CRF가 F1 점수 71.6을 기록하여 기준 BiLSTM-CRF(65.4) 및 기타 특징 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 시각화 결과, 같은 단어(예: 'clinton')에 대해 문맥에 따라 다른 WordNet 및 NELL 개념에 주목하는 것을 확인하였으며, 이를 통해 사람 또는 장소로 정확히 식별하는 것을 확인하였다.
• 문장에서 'in'이 장소를 시사할 경우, 텍스트 문맥이 충분할 때 KB attention을 억제하는 것을 학습한 센티넬 게이트가 관찰되었으며, 이는 오해의 소지가 있는 KB 항목에 대한 의존도를 감소시켰다.
• 다의어어휘인 'head'가 이동 또는 시작 위치 이벤트 트리거로 사용될 경우, 문맥에 적합한 KB 개념에 주목함으로써 모델이 효과적으로 다의어를 해석하는 데 성공하였다.