[논문 리뷰] BERTChem-DDI : Improved Drug-Drug Interaction Prediction from text using Chemical Structure Information

Ishani Mondal|arXiv (Cornell University)|2020. 12. 21.

Computational Drug Discovery Methods참고 문헌 16인용 수 10

한 줄 요약

이 논문은 생물의학적 텍스트에서 유도된 BioBERT 기반의 문맥 임베딩과 SMILES로 인코딩된 분자의 화학 구조 표현을 통합함으로써 약물-약물 상호작용(DDI) 예측을 향상시키는 새로운 방법인 BERTChem-DDI를 제안한다. 변동성 오토인코더(ChemVAE)를 통해 유도된 화학 구조 표현을 활용하여, DDIExtraction 2013 데이터셋에서 강력한 기준 모델 대비 매크로 F1 점수 3.4% 향상시키며, 분자의 구조 정보 통합이 생물의학 NLP 분야의 관계 분류 성능 향상에 중대한 기여를 한다는 것을 입증한다.

ABSTRACT

Traditional biomedical version of embeddings obtained from pre-trained language models have recently shown state-of-the-art results for relation extraction (RE) tasks in the medical domain. In this paper, we explore how to incorporate domain knowledge, available in the form of molecular structure of drugs, for predicting Drug-Drug Interaction from textual corpus. We propose a method, BERTChem-DDI, to efficiently combine drug embeddings obtained from the rich chemical structure of drugs along with off-the-shelf domain-specific BioBERT embedding-based RE architecture. Experiments conducted on the DDIExtraction 2013 corpus clearly indicate that this strategy improves other strong baselines architectures by 3.4\% macro F1-score.

연구 동기 및 목표

• 생물의학적 텍스트에서 약물-약물 상호작용(DDI) 예측을 향상시키기 위해 도메인 특화된 화학 구조 지식을 통합하는 것.
• SMILES를 통해 변동성 오토인코더(Variaitonal Autoencoder)를 통해 유도된 분자 표현이 DDI 추출의 관계 분류 성능 향상에 기여하는지 조사하는 것.
• 텍스트적 맥락과 화학 구조 임베딩을 동시에 활용하는 통합 프레임워크를 개발하여 보다 우수한 DDI 분류 성능을 달성하는 것.
• DDIExtraction 2013 벤치마크 데이터셋에서 새로운 최고 성능 기록을 수립하는 것.

제안 방법

• 모델은 문장 내 약물 언급에 대해 BioBERT 기반의 문맥 임베딩을 사용하며, 엔티티 토큰의 최종 히든 상태에서 풀링된 표현을 활용한다.
• 약물 전용 표현은 토큰 임베딩에 대한 평균 풀링을 통해 확보한 후, 공유 파arameter를 가진 피드포워드 레이어를 거쳐 문맥 기반 엔티티 벡터를 생성한다.
• 별도의 ChemVAE는 ZINC과 DrugBank의 캐논리컬 SMILES 문자열을 기반으로 훈련되어 분자의 저차원 잠재 표현을 학습한다.
• 최종 모델인 BERTChem-DDI는 [CLS] 토큰 표현과 두 엔티티 표현(텍스트 및 화학 구조에서 유도된 것)을 연결한 후, 완전 연결 레이어와 소프트맥스를 통해 분류를 수행한다.
• 화학 구조 임베딩은 훈련된 ChemVAE에서 유도된 292차원 잠재 벡터를 초기화로 사용하며, BERT 파라미터와 함께 미세조정된다.
• 모델은 교차 엔트로피 손실과 Adam 옵timizer를 사용하여 엔드 투 엔드로 훈련되며, 배치 크기 16, 5 에포크, 최대 300 토큰의 시퀀스 길이 제한 조건을 가진다.

Figure 1: Schematic Representation of BERTChem-DDI with the input sentence “Glepafloxain is a competitive inhibitor of the metabolism of Theophylline” tagged with two drug entities Glepafloxacin and Theophylline .

실험 결과

연구 질문

• RQ1 SMILES 표현에서 유도된 분자 구조 정보 통합이 텍스트 기반 DDI 관계 분류 성능 향상에 기여하는가?
• RQ2 화학적으로 정보화된 임베딩의 추가가 다양한 DDI 관계 유형에서의 성능에 미치는 영향은 어떠한가?
• RQ3 생물의학적 언어 표현과 화학 구조 임베딩을 융합함으로써 DDIExtraction 2013 벤치마크에서 새로운 최고 성능 기록을 달성할 수 있는가?
• RQ4 텍스트적 맥락과 화학 구조 중 어느 요소가 성능 향상에 더 크게 기여하는가?

주요 결과

• BioBERT v1.0 PubMed PMC를 사용한 최고 성능의 BERT-DDI 모델은 매크로 F1 점수 0.822를 기록하며, 다른 문맥 임베딩 변형보다 뛰어난 성능을 보였다.
• 최고 성능의 BERT-DDI 모델에 ChemVAE에서 유도된 화학 구조 임베딩을 추가함으로써 매크로 F1 점수가 1.6% 향상되어 0.838에 도달했다.
• 성능 향상은 특히 Mechanism(3.2%)과 Advice(2.11%) 관계 유형에서 가장 두드러졌으며, 이는 구조 정보가 약리학적 메커니즘 이해에 기여함을 시사한다.
• BERTChem-DDI는 DDIExtraction 2013 데이터셋에서 새로운 최고 매크로 F1 점수 0.838을 기록하며, 기존 기준 모델보다 3.4% 향상된 성능을 확보했다.
• 제거 실험(ablation studies) 결과 도메인 특화 임베딩(BioBERT)의 중요성이 입증되었으며, 일반 도메인 BERT 대비 2.3% 향상된 성능을 기록했다.
• ChemVAE 모델은 SMILES 문자열에서 의미 있는 분자 표현을 효과적으로 학습하였으며, 이는 DDI 분류 파이프라인에 통합되었을 때도 유용한 성능을 보였다.