[논문 리뷰] Biomedical text summarization using Conditional Generative Adversarial Network(CGAN)

Seyed Vahid Moravvej, Abdolreza Mirzaei외 1명|arXiv (Cornell University)|2021. 09. 17.

Topic Modeling인용 수 24

한 줄 요약

이 논문은 조건부 생성 적대적 네트워크(CGAN)와 합성곱 신경망을 사용한 새로운 감독 기반 생물의학 텍스트 요약 방법을 제안한다. 새로운 문장 선택 전략, 생물의학용 단어 임베딩 모델, 맞춤형 판별자 손실 함수를 도입하여 의료 데이터셋을 사용한 ROUGE 평가 지표에서 경쟁 모델 대비 평균 5% 향상된 성능을 달성한다.

ABSTRACT

Text summarization in medicine can help doctors for reducing the time to access important information from countless documents. The paper offers a supervised extractive summarization method based on conditional generative adversarial networks using convolutional neural networks. Unlike previous models, which often use greedy methods to select sentences, we use a new approach for selecting sentences. Moreover, we provide a network for biomedical word embedding, which improves summarization. An essential contribution of the paper is introducing a new loss function for the discriminator, making the discriminator perform better. The proposed model achieves results comparable to the state-of-the-art approaches, as determined by the ROUGE metric. Experiments on the medical dataset show that the proposed method works on average 5% better than the competing models and is more similar to the reference summaries.

연구 동기 및 목표

• 임상 의사결정 지원을 위해 대량의 생물의학 문헌에서 핵심 정보를 효율적으로 추출하는 데 도전한다.
• 기존 추출 기반 요약 모델에서의 탐욕적 문장 선택 전략의 한계를 극복한다.
• 생물의학 텍스트에 특화된 새로운 조건부 GAN 아키텍처를 통해 요약 성능을 향상시킨다.
• 표현 학습을 향상시키기 위해 도메인 특화된 생물의학 단어 임베딩 모델을 개발한다.
• 적대적 훈련을 강화하고 요약 품질을 향상시키기 위해 새로운 판별자 손실 함수를 설계한다.

제안 방법

• 모델는 조건부 GAN 프레임워크를 활용하여 생성자가 조건부 맥락을 기반으로 생물의학 문서에서 중요한 문장을 선택하도록 학습한다.
• 합성곱 신경망(CNN)을 사용하여 문장 표현을 인코딩하고 입력 텍스트에서 局소 특징을 추출한다.
• 생성자의 출력 분포를 활용하여 높은 관련성의 문장을 우선순위로 정렬함으로써 탐욕적 선택을 대체하는 새로운 문장 선택 메커니즘을 도입한다.
• 실제 요약과 생성된 요약을 더 잘 구분할 수 있도록 판별자에 대해 맞춤형 손실 함수를 도입하여 훈련 안정성과 품질을 향상시킨다.
• 의료 문헌 코퍼스를 기반으로 생물의학 전용 단어 임베딩 모델을 훈련시켜 의료 용어의 의미 표현을 향상시킨다.
• 생성자와 판별자를 적대적 훈련을 통해 공동으로 훈련하며, 생성자는 요약 결과가 기준 출력과 일치하도록 ROUGE 기반 보상 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 프레임워크는 기존 추출 기반 모델을 초월하여 생물의학 텍스트 요약 성능을 향상시킬 수 있는가?
• RQ2 비탐욕적, GAN 기반 문장 선택 전략은 탐욕적 선택 전략 대비 요약 품질에서 어떻게 비교되는가?
• RQ3 도메인 특화된 생물의학 단어 임베딩의 성능 향상 정도는 어느 정도인가?
• RQ4 다시 설계된 판별자 손실 함수는 판별자 성능 향상과 더 나은 요약 품질을 이끌어내는가?
• RQ5 제안된 모델은 생물의학 요약 분야에서 표준 ROUGE 지표에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 생물의학 데이터셋에서 경쟁 모델 대비 ROUGE 점수 평균 5% 향상된 성능을 달성한다.
• ROUGE 평가 결과에 따르면 모델가 생성한 요약은 인간 기준 요약과 더 유사하다.
• 맞춤형 판별자 손실 함수는 실제 요약과 생성된 요약을 더 잘 구분할 수 있도록 판별자의 능력을 향상시켜 보다 효과적인 적대적 훈련을 가능하게 한다.
• 생물의학 전용 단어 임베딩 모델은 의료 용어의 의미 표현을 향상시켜 요약의 관련성 향상에 기여한다.
• 비탐욕적 문장 선택 전략은 더 일관되고 정보량이 풍부한 문장 조합을 포착함으로써 탐욕적 방법을 능가하는 성능을 보인다.
• 모델는 다양한 생물의학 문서에서 뛰어난 일반화 능력을 보이며 강력한 성능을 유지한다.