[논문 리뷰] Feature Assisted bi-directional LSTM Model for Protein-Protein Interaction Identification from Biomedical Texts

Shweta Yadav, Ankit Kumar외 3명|arXiv (Cornell University)|2018. 07. 05.

Biomedical Text Mining and Ontologies참고 문헌 36인용 수 7

한 줄 요약

이 논문은 단일 방향성 LSTM(sdpLSTM) 모델을 제안하며, 단일 방향성 LSTMs와 최단 의존 경로(SDP) 임베딩, 품사(POS) 태그, 위치 임베딩을 결합하여 생물의학 텍스트 내 단백질-단백질 상호작용(PPI) 식별을 향상시킨다. 이 모델은 문법적 구조와 깊이 있는 문맥 학습을 활용하여 AiMed에서 F1 스코어 86.45%와 BioInfer에서 F1 스코어 77.35%를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Knowledge about protein-protein interactions is essential in understanding the biological processes such as metabolic pathways, DNA replication, and transcription etc. However, a majority of the existing Protein-Protein Interaction (PPI) systems are dependent primarily on the scientific literature, which is yet not accessible as a structured database. Thus, efficient information extraction systems are required for identifying PPI information from the large collection of biomedical texts. Most of the existing systems model the PPI extraction task as a classification problem and are tailored to the handcrafted feature set including domain dependent features. In this paper, we present a novel method based on deep bidirectional long short-term memory (B-LSTM) technique that exploits word sequences and dependency path related information to identify PPI information from text. This model leverages joint modeling of proteins and relations in a single unified framework, which we name as Shortest Dependency Path B-LSTM (sdpLSTM) model. We perform experiments on two popular benchmark PPI datasets, namely AiMed & BioInfer. The evaluation shows the F1-score values of 86.45% and 77.35% on AiMed and BioInfer, respectively. Comparisons with the existing systems show that our proposed approach attains state-of-the-art performance.

연구 동기 및 목표

• 과학 텍스트의 기하급수적 증가로 인해 비정형 생물의학 문헌에서 단백질-단백질 상호작용(PPI)을 추출하는 데 도전 과제가 존재한다.
• 수작업으로 구성된 도메인 특화 기능과 외부 NLP 도구에 의존하는 전통적인 커널 기반 방법의 한계를 극복한다.
• 최단 의존 경로를 통한 문법적 구조 통합과 깊이 있는 문맥 임베딩을 통합된 딥 러닝 프레임워크 내에서 PPI 식별을 향상시킨다.
• 기준 데이터셋(AiMed 및 BioInfer)에서 모델 성능을 평가하여 기존 최신 기술 수준의 접근 방식보다 성능 향상을 입증한다.

제안 방법

• 의존성 파싱을 사용하여 단백질 쌍 간의 최단 의존 경로(SDP)를 구축하여 문법적 관계를 캡처한다.
• PubMed 등에서 사전 훈련된 생물의학 어휘 임베딩을 사용하여 SDP 내 단어를 표현함으로써 의미 이해를 향상시킨다.
• 입력 표현의 풍부함을 높이기 위해 품사(POS) 및 위치 임베딩을 추가 기능으로 통합한다.
• 장기적 의존성과 문맥을 모델링하기 위해 복합된 특징 표현을 双방향 LSTMs(Bi-LSTM) 네트워크에 입력한다.
• 이진 분류를 위한 PPI 쌍을 학습하기 위해 교차 엔트로피 손실을 사용하여 sdpLSTM 모델을 엔드 투 엔드로 훈련시킨다.
• 향후 연구에서 어텐션 메커니즘과 다층 아키텍처 탐색을 통해 성능을 추가로 향상시킬 계획이다.

실험 결과

연구 질문

• RQ1 최단 의존 경로(SDP) 임베딩이 PPI 추출에서 단백질 간의 문법적 관계를 효과적으로 표현할 수 있는가?
• RQ2 PoS 및 위치 임베딩은 PPI 식별에서 딥 러닝 모델의 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 sdpLSTM 모델이 표준 PPI 기준 데이터셋에서 기존 최신 기술 수준의 방법보다 우월한가?
• RQ4 암시적 또는 부정된 PPI에 대해 모델의 주요 실패 원인은 무엇인가?
• RQ5 PoS 및 위치 임베딩과 같은 추가 기능은 성능 향상에 어느 정도 기여하는가? 이 기여도는 훈련 에포크 수에 따라 어떻게 변화하는가?

주요 결과

• sdpLSTM 모델은 AiMed 데이터셋에서 F1 스코어 86.45%와 BioInfer 데이터셋에서 F1 스코어 77.35%를 기록하며 이전 최신 기술 수준의 방법을 능가한다.
• SDP, PoS 및 위치 임베딩의 조합은 기준 Bi-LSTM에 비해 BioInfer에서 F1 스코어 1.49 포인트 향상되고 AiMed에서는 F1 스코어 0.07 포인트 향상되었다.
• 적은 에포크 수로 훈련할 경우 추가 기능으로 인한 성능 향상이 1–2% 정도 나타나지만, 장기 훈련 시에는 이 이점이 감소하여 시간이 지남에 따라 기능의 중복성이 드러난다.
• 오류 분석 결과, 의존성 파서의 실패와 부정적 맥락에서의 상호작용 동사(예: 'inhibited')가 잘못 분류의 주요 원인임을 확인했다.
• 명시적인 상호작용 동사가 없는 암시적 PPI에 대해서는 모델이 어려움을 겪는다—BioInfer에서는 57개의 거짓 음성, AiMed에서는 29개의 거짓 음성이 이 문제로 기인하였다.
• 일반적인 내부 임베딩에 비해 생물의학 어휘 임베딩은 의미 표현을 크게 향상시켜 복잡한 생물의학 텍스트에서 성능 향상에 기여한다.