[논문 리뷰] A Bi-LSTM-RNN Model for Relation Classification Using Low-Cost Sequence Features

Fei Li, Meishan Zhang외 3명|arXiv (Cornell University)|2016. 08. 27.

Topic Modeling참고 문헌 28인용 수 20

한 줄 요약

이 논문은 구문 분석을 사용하지 않고도 낮은 비용의 시퀀스 특징—단어와 품사 태그—만을 사용하여 두 개체 간의 관계를 분류하는 Bi-LSTM-RNN 모델을 제안한다. 문장을 다섯 부분(이전, 개체1, 중간, 개체2, 이후)으로 나누어 맥락 표현을 캡처함으로써 SemEval-2010과 BioNLP-ST 2016에서 경쟁적인 성능을 달성하였으며, 중간 맥락이 가장 정보가 많고 가장 짧은 의존 경로를 근사함을 입증하였다.

ABSTRACT

Relation classification is associated with many potential applications in the artificial intelligence area. Recent approaches usually leverage neural networks based on structure features such as syntactic or dependency features to solve this problem. However, high-cost structure features make such approaches inconvenient to be directly used. In addition, structure features are probably domain-dependent. Therefore, this paper proposes a bi-directional long-short-term-memory recurrent-neural-network (Bi-LSTM-RNN) model based on low-cost sequence features to address relation classification. This model divides a sentence or text segment into five parts, namely two target entities and their three contexts. It learns the representations of entities and their contexts, and uses them to classify relations. We evaluate our model on two standard benchmark datasets in different domains, namely SemEval-2010 Task 8 and BioNLP-ST 2016 Task BB3. In the former dataset, our model achieves comparable performance compared with other models using sequence features. In the latter dataset, our model obtains the third best results compared with other models in the official evaluation. Moreover, we find that the context between two target entities plays the most important role in relation classification. Furthermore, statistic experiments show that the context between two target entities can be used as an approximate replacement of the shortest dependency path when dependency parsing is not used.

연구 동기 및 목표

• 관계 분류에서 문법적 또는 의존 구문 분석과 같은 고비용이고 도메인에 의존하는 구조적 특징의 한계를 해결하기 위해.
• 다양한 도메인 간 이식성을 향상시키기 위해 낮은 비용의 시퀀스 특징—단어와 품사 태그—에만 의존하는 모델을 개발하기 위해.
• 다양한 맥락 세그먼트(이전, 중간, 이후)가 관계 분류 성능에 기여하는 정도를 조사하기 위해.
• 의존 구문 분석이 불가능할 경우 중간 맥락이 가장 짧은 의존 경로(SDP)의 효과적인 근사치가 될 수 있는지 평가하기 위해.

제안 방법

• 모델은 각 문장을 다섯 세그먼트로 나눈다: 이전 맥락, 첫 번째 개체, 중간 맥락(두 개체 사이), 두 번째 개체, 이후 맥락.
• 양방향 LSTM는 모든 세그먼트의 토큰 표현을 처리하여 장거리 의존성을 캡처하고 기울기 소실 문제를 완화한다.
• 각 세그먼트의 은닉 표현에 대해 최대 풀링을 적용하여 고정 길이의 맥락 벡터를 생성한다.
• 다섯 개의 풀링된 벡터를 연결하여 최종 관계 분류를 위한 소프트맥스 레이어에 입력한다.
• 모델은 의존 구문 분석과 같은 고비용의 문법적 특징을 사용하지 않고, 단어와 품사 태그만을 입력 특징으로 사용한다.
• 통계적 분석을 통해 두 개의 벤치마크 데이터셋에서 중간 맥락과 가장 짧은 의존 경로(SDP) 간의 단어 겹침을 비교한다.

실험 결과

연구 질문

• RQ1 Bi-LSTM-RNN 모델이 단어와 품사 태그와 같은 낮은 비용의 시퀀스 특징만을 사용하여 경쟁적인 관계 분류 성능를 달성할 수 있는가?
• RQ2 어느 맥락 세그먼트(이전, 중간, 이후)가 관계 분류에 가장 크게 기여하는가?
• RQ3 두 개체 사이의 중간 맥락이 가장 짧은 의존 경로(SDP)가 포착하는 정보를 어느 정도 근사하는가?
• RQ4 의존 구문 분석이 불가능할 경우 중간 맥락이 관계 분류 작업에서 효과적으로 대체될 수 있는가?

주요 결과

• SemEval-2010 Task 8 데이터셋에서, 복잡한 구조적 특징을 사용하는 모델들과 비교해 유사한 성능를 기록하였다.
• BioNLP-ST 2016 Task BB3 데이터셋에서, 공식 제출 결과 중 세 번째로 높은 순위를 기록하여 강력한 일반화 능력을 입증하였다.
• 중간 맥락이 분류 정확도에 가장 큰 기여를 하였으며, 이는 이전, 이후 및 개체 표현보다 뛰어난 성능를 보였다.
• SemEval-2010에서 가장 짧은 의존 경로(SDP)의 82%가 중간 맥락에 포함되어 있었다.
• BioNLP-ST 2016에서는 SDP 단어의 61%가 중간 맥락에 존재하여, 더 길고 잡음이 많은 생물의학 텍스트임에도 강한 겹침을 보였다.
• 결과적으로, 의존 구문 분석이 불가능할 경우 중간 맥락이 신뢰할 수 있고 저비용의 SDP 대체 수단이 될 수 있음을 시사한다.