[논문 리뷰] Query Focused Multi-document Summarisation of Biomedical Texts

Diego Mollá, Christopher Jones외 1명|arXiv (Cornell University)|2020. 08. 27.

Topic Modeling참고 문헌 12인용 수 5

한 줄 요약

이 논문은 BERT 기반 문장 임베딩과 LSTM 인코딩을 사용하여 생물의학 텍스트를 위한 질의 중심 다중 문서 추출 요약 시스템을 제시한다. 이는 BioASQ8b 챌린지에서 평가되었다. 최고의 성능은 BERT를 단어 임베딩으로 사용하고, 문장 인코딩으로 LSTM을 사용한 경우에 달성되었으며, BioBERT, 시아모이드 아키텍처, 강화 학습 접근 방식을 모두 능가했다.

ABSTRACT

This paper presents the participation of Macquarie University and the Australian National University for Task B Phase B of the 2020 BioASQ Challenge (BioASQ8b). Our overall framework implements Query focused multi-document extractive summarisation by applying either a classification or a regression layer to the candidate sentence embeddings and to the comparison between the question and sentence embeddings. We experiment with variants using BERT and BioBERT, Siamese architectures, and reinforcement learning. We observe the best results when BERT is used to obtain the word embeddings, followed by an LSTM layer to obtain sentence embeddings. Variants using Siamese architectures or BioBERT did not improve the results.

연구 동기 및 목표

• 신경망 아키텍처를 사용하여 생물의학 텍스트를 위한 질의 중심 다중 문서 요약 시스템을 개발한다.
• 생물의학 질문-응답 작업에서 요약 성능 향상에 BERT와 BioBERT의 효과를 평가한다.
• 시아모이드 아키텍처 또는 PPO를 사용한 강화 학습이 추출 요약 성능 향상에 기여하는지 조사한다.
• 다중 문서 요약에서 문장 점수 매기기 위한 분류 및 회귀 설정을 비교한다.
• 임상 또는 진단 질의 기반으로 PubMed 초록을 요약하기 위한 최적의 모델 구성 요건을 규명한다.

제안 방법

• 시스템은 질문과 후보 문장의 양측에 대해 BERT를 사용하여 문맥 기반 단어 임베딩을 생성한다.
• 문장 임베딩은 BERT 임베딩에 양방향 LSTM 레이어를 적용하여 유도된다.
• 최종 분류 또는 회귀 레이어는 질문 임베딩과의 유사도를 기반으로 각 후보 문장을 점수 매긴다.
• 시아모이드 아키텍처는 질문 및 문장 인코더 간에 공유된 가중치를 사용하여 테스트되었으며, 문장 쌍 유사도 계산에 Sentence-BERT가 사용되었다.
• 강화 학습은 Proximal Policy Optimisation (PPO)를 사용하여 높은 ROUGE 점수를 얻는 문장을 선택하는 정책 네트워크를 훈련시켰다.
• 최종 요약은 상위-n 점수를 받은 문장을 선택하여 생성되며, n은 질문 유형에 따라 결정된다(예: 요약은 6개, 사실형은 2개).

실험 결과

연구 질문

• RQ1 word2vec과 비교하여 BERT를 단어 임베딩으로 사용할 경우 생물의학 텍스트에서 추출 요약 성능이 향상되는가?
• RQ2 생물의학 텍스트에서 BioBERT를 미세조정하면 표준 BERT를 사용할 경우보다 더 나은 요약 결과를 얻을 수 있는가?
• RQ3 시아모이드 아키텍처 또는 Sentence-BERT가 질의 중심 요약에서 문장 관련성 점수 매기기 성능 향상에 기여하는가?
• RQ4 PPO를 사용한 강화 학습이 지도 학습 기반의 분류 또는 회귀보다 더 나은 요약 성능을 내는가?
• RQ5 이 작업에서 문장 표현을 위한 BERT + LSTM 조합이 다른 아키텍처보다 더 효과적인가?

주요 결과

• 가장 높은 성능을 보인 모델은 BERT를 단어 임베딩으로 사용하고, 문장 인코딩으로 LSTM을 사용한 것으로, NNR 설정(배치 3)에서 ROUGE-SU4 F1 점수 0.3729를 기록했다.
• BioBERT 사용은 성능 향상에 기여하지 않았으며, 예를 들어 다중 작업 SBioBERT C 20 에포크에서 0.2527의 낮은 점수를 기록하여 미사전처리 BERT 기준선보다 낮았다.
• 시아모이드 아키텍처 및 SBERT 기반 모델은 미사전처리 BERT 모델과 동등하거나 열 劣한 성능을 보였으며, 질문과 문장 간 스타일적 차이로 인해 공유된 처리 방식이 비효율적임을 시사했다.
• PPO를 사용한 강화 학습은 평가 점수가 가장 낮았으며(예: 배치 4에서 0.2585), 인간 평가에서는 더 높은 품질의 요약을 제공할 수 있을 것으로 예상된다.
• 다중 작업 학습 설정(분류 및 회귀를 함께 훈련)은 단일 작업 모델을 능가했으며, 배치 3에서 ROUGE-SU4 F1 점수 0.3506을 기록했다.
• 대부분의 실험에서 분류 설정(NNC)이 가장 뛰어난 결과를 냈으며, 교차 검증 결과와 일관되게 나타났다. 다만 회귀 설정(NNR)은 많은 경우에서 두 번째로 뛰어난 성능을 보였다.