[논문 리뷰] Deep learning for extracting protein-protein interactions from biomedical literature

Yifan Peng, Zhiyong Lu|arXiv (Cornell University)|2017. 06. 05.

Biomedical Text Mining and Ontologies참고 문헌 37인용 수 15

한 줄 요약

이 논문은 문법적 의존성에서 유도된 단어 임bedding과 헤드 단어 임베딩을 별도로 인코딩함으로써 단백질-단백질 상호작용(PPI) 추출을 향상시키는 다채널 의존 기반 합성곱 신경망인 McDepCNN을 제안한다. 이 모델은 교차 코퍼스 평가에서 이전 방법 대비 상대적으로 24.4% 향상된 F1 스코어를 기록하고, 어려운 인스턴스에서는 12% 향상시켜 일반화 능력과 장거리 특징 추출 능력이 뛰어남을 입증한다.

ABSTRACT

State-of-the-art methods for protein-protein interaction (PPI) extraction are primarily feature-based or kernel-based by leveraging lexical and syntactic information. But how to incorporate such knowledge in the recent deep learning methods remains an open question. In this paper, we propose a multichannel dependency-based convolutional neural network model (McDepCNN). It applies one channel to the embedding vector of each word in the sentence, and another channel to the embedding vector of the head of the corresponding word. Therefore, the model can use richer information obtained from different channels. Experiments on two public benchmarking datasets, AIMed and BioInfer, demonstrate that McDepCNN compares favorably to the state-of-the-art rich-feature and single-kernel based methods. In addition, McDepCNN achieves 24.4% relative improvement in F1-score over the state-of-the-art methods on cross-corpus evaluation and 12% improvement in F1-score over kernel-based methods on "difficult" instances. These results suggest that McDepCNN generalizes more easily over different corpora, and is capable of capturing long distance features in the sentences.

연구 동기 및 목표

• 깊이 학습 모델에 문법적 정보와 의미적 정보를 통합하는 데 도전한다.
• 수동적 특징 설계나 복잡한 유사도 함수에 의존하는 특징 기반 및 커널 기반 방법의 한계를 극복한다.
• 다양한 생물의학 코퍼스에 걸쳐 잘 일반화되고 문장 내 장거리 의존성을 잘 포착하는 딥 러닝 모델을 개발한다.
• 특히 더 길거나 구조적으로 복잡한 문장에서의 어려운 PPI 인스턴스에서 성능을 향상시킨다.

제안 방법

• McDepCNN는 문법적 의존성에서 유도된 단어 임베딩 채널과 헤드 단어 임베딩 채널을 포함한 다채널 아키텍처를 사용한다.
• 각 채널은 합성곱 레이어를 거쳐 국소적 특징을 추출하고, 최대 풀링을 적용한다.
• 의존 구조를 활용해 문법적 관계를 인코딩함으로써 장거리 의존성을 더 잘 모델링할 수 있다.
• 다양한 수용장치를 포착하기 위해 여러 합성곱 창 크기(3, 5, 7)를 사용한다.
• 이중 PPI 분류를 위한 교차 엔트로피 손실을 사용해 백프로파게이션을 통해 엔드 투 엔드로 학습한다.
• 제거 실험을 통해 다채널 설계의 효과를 확인하였으며, 특히 별도의 헤드 단어 채널이 단일 채널 버전 대비 성능을 1.1% 향상시켜 그 효과를 입증한다.

실험 결과

연구 질문

• RQ1 의존 구조를 통합한 딥 러닝 모델이 기존의 특징 기반 및 커널 기반 PPI 추출 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 McDepCNN 모델은 AIMed 및 BioInfer와 같은 다양한 생물의학 코퍼스 간에 얼마나 잘 일반화되는가?
• RQ3 의존 기반 헤드 단어 임베딩의 사용이 장거리 또는 구조적으로 복잡한 PPI 인스턴스에서 성능 향상에 기여하는가?
• RQ4 기존의 전통적 커널 방법에 비해 McDepCNN이 문장 내 장거리 의존성을 얼마나 잘 포착할 수 있는가?

주요 결과

• McDepCNN는 교차 코퍼스 평가에서 최신 기술 대비 상대적으로 24.4% 향상된 F1 스코어를 기록하여 데이터셋 간 강력한 일반화 능력을 보였다.
• 어려운 PPI 인스턴스에서 McDepCNN는 F1 스코어 17.3%를 기록했으며, 다음으로 우수한 커널 방법(5.5 F1)보다 3배 이상 높았다.
• 모델의 어려운 인스턴스에서의 성능은 커널 기반 접근 방식이 자주 실패하는 더 길거나 복잡한 문장에서도 장거리 의존성을 더 잘 포착하고 있음을 시사한다.
• 제거 실험 결과, 별도의 헤드 단어 채널을 사용함으로써 단일 채널 모델 대비 성능이 1.1% 향상되었으며, 이는 그 효과를 확인한다.
• 여러 합성곱 창 크기(3, 5, 7)를 추가해도 성능 향상이 없었으며, 이는 다채널 설계가 이미 충분한 문맥적 특징을 포착하고 있음을 시사한다.
• AIMed 및 BioInfer 데이터셋 양쪽에서 딥 러닝 기반 모델과 전통적인 커널 기반 방법을 모두 압도하여 모델의 강건성과 효과성을 입증했다.