[논문 리뷰] Advancing PICO Element Detection in Biomedical Text via Deep Neural Networks

Di Jin, Peter Szolovits|arXiv (Cornell University)|2018. 10. 30.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 문장 표현 위에 두 번째 양방향 LSTM 레이어를 스태킹하여 문장 간 문맥을 포착하고, 적대적 훈련과 비지도 사전 훈련을 통해 일반화 능력을 향상시켜 생물의학 텍스트 내 PICO 요소 검출을 향상시키는 딥 러닝 모델을 제안한다. 모델은 최신 기술 수준의 성능을 달성하여 PubMed-PICO에서 P, I, O 요소에 대해 각각 5.5%, 7.9%, 5.8% 향상되었고, NICTA-PIBOSO에서 2.4%, 13.6%, 1.0% 향상되었다.

ABSTRACT

In evidence-based medicine (EBM), defining a clinical question in terms of the specific patient problem aids the physicians to efficiently identify appropriate resources and search for the best available evidence for medical treatment. In order to formulate a well-defined, focused clinical question, a framework called PICO is widely used, which identifies the sentences in a given medical text that belong to the four components typically reported in clinical trials: Participants/Problem (P), Intervention (I), Comparison (C) and Outcome (O). In this work, we propose a novel deep learning model for recognizing PICO elements in biomedical abstracts. Based on the previous state-of-the-art bidirectional long-short term memory (biLSTM) plus conditional random field (CRF) architecture, we add another layer of biLSTM upon the sentence representation vectors so that the contextual information from surrounding sentences can be gathered to help infer the interpretation of the current one. In addition, we propose two methods to further generalize and improve the model: adversarial training and unsupervised pre-training over large corpora. We tested our proposed approach over two benchmark datasets. One is the PubMed-PICO dataset, where our best results outperform the previous best by 5.5%, 7.9%, and 5.8% for P, I, and O elements in terms of F1 score, respectively. And for the other dataset named NICTA-PIBOSO, the improvements for P/I/O elements are 2.4%, 13.6%, and 1.0% in F1 score, respectively. Overall, our proposed deep learning model can obtain unprecedented PICO element detection accuracy while avoiding the need for any manual feature selection.

연구 동기 및 목표

• 임상의학 기반 의료 및 임상 의사결정 지원에 핵심적인 생물의학 초록 내 PICO 요소 검출 정확도 향상.
• 이전 모델들이 수작업 특징에 의존하고 주변 문장의 문맥 정보를 활용하지 못하는 한계를 해결.
• 적대적 훈련과 비지도 사전 훈련을 통해 저자원 환경에서의 과적합을 줄이고 모델 일반화 능력을 향상.
• 수작업 특징 공학 없이 딥 네트워크를 활용해 엔드 투 엔드 학습을 통해 최신 기술 수준의 성능 달성.

제안 방법

• 양방향 LSTM + CRF 모델에서 문장 수준 표현 위에 두 번째 양방향 LSTM 레이어를 추가하여 인접한 문장의 문맥 정보를 포착.
• 모델 정규화 및 입력 변형에 대한 강건성을 향상시키기 위해 적대적 훈련과 가상 적대적 훈련을 사용.
• 목표 PICO 데이터셋에 대한 미세조정 이전에 대규모 생물의학 코퍼스에서 비지도 사전 훈련을 적용하여 특징 학습 능력을 향상.
• 양방향 LSTM이 문장 표현을 인코딩하고 CRF가 레이블 시퀀스 예측을 최적화하는 양방향 LSTM + CRF 아키텍처를 활용.
• RNN 및 Transformer 기반 문장 인코더를 모두 사용하며, 성능 비교를 위한 분석 실험을 수행.
• 문맥 기반 문장 표현을 CRF 레이어에 통합하여 전역적으로 일관된 레이블 시퀀스 확보.

실험 결과

연구 질문

• RQ1 문장 표현 위에 추가적인 양방향 LSTM 레이어를 스태킹하여 문장 간 문맥을 포착함으로써 PICO 요소 검출 성능 향상이 가능한가?
• RQ2 적대적 훈련이 저자원 PICO 레이블링 환경에서 일반화 및 강건성 향상에 뚜렷한 기여를 하는가?
• RQ3 대규모 생물의학 코퍼스에서의 비지도 사전 훈련이 후속 PICO 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 다양한 기준 데이터셋에서 F1 점수 측면에서 제안된 모델이 최신 기술 수준의 모델들과 비교해 어떻게 성능를 내는가?

주요 결과

• 제안된 모델은 이전 최신 기술 수준 대비 PubMed-PICO 데이터셋에서 PICO 요소에 대해 절대 F1 점수 5.5% 향상.
• PubMed-PICO 데이터셋에서 Intervention (I) 요소에 대해 F1 점수 7.9% 향상되고 Outcome (O) 요소에 대해 5.8% 향상.
• NICTA-PIBOSO 데이터셋에서 Intervention (I) 요소에 대해 F1 점수 13.6% 향상되었으며, 모든 요소 중 가장 큰 개선 폭 기록.
• 딥 네트워크를 통한 엔드 투 엔드 학습을 통해 수작업 특징 공학에 대한 의존도 감소.
• 적대적 훈련과 비지도 사전 훈련이 성능 향상에 크게 기여하며, 특히 데이터가 적은 환경에서 두드러진다.
• 혼동 행렬 분석 결과 주요 오류 원인은 모호한 레이블과 CRF에 의해 유도된 레이블 전이이며, 'Method'와 'Other' 레이블 간 오해가 빈번히 발생한다.