[논문 리뷰] Nutribullets Hybrid: Multi-document Health Summarization

Darsh Shah, Lili Yu외 2명|arXiv (Cornell University)|2021. 04. 08.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 다중 문서 영양 요약을 위한 하이브리드 신경-기호 프레임워크인 Nutribullets Hybrid를 제안한다. 이 프레임워크는 추출된 관계에 대한 결정론적 규칙를 사용한 콘텐츠 선택과 텍스트 인페닝 언어 모델을 통한 표면 구현을 분리함으로써 충실도가 높고 집합 감지에 민감한 요약을 생성한다. 최신 기준 대비 20% 높은 집합 감지 능력, 7% 향상된 관련성, 7% 향상된 충실도를 달성하였으며, 영양 연구와 같이 자원이 부족하고 일관성 없는 저자원 건강 분야에서 특히 뛰어난 성능을 보였다.

ABSTRACT

We present a method for generating comparative summaries that highlights similarities and contradictions in input documents. The key challenge in creating such summaries is the lack of large parallel training data required for training typical summarization systems. To this end, we introduce a hybrid generation approach inspired by traditional concept-to-text systems. To enable accurate comparison between different sources, the model first learns to extract pertinent relations from input documents. The content planning component uses deterministic operators to aggregate these relations after identifying a subset for inclusion into a summary. The surface realization component lexicalizes this information using a text-infilling language model. By separately modeling content selection and realization, we can effectively train them with limited annotations. We implemented and tested the model in the domain of nutrition and health -- rife with inconsistencies. Compared to conventional methods, our framework leads to more faithful, relevant and aggregation-sensitive summarization -- while being equally fluent.

연구 동기 및 목표

• 연구 결과가 종종 상반되거나 일치하는 저자원 건강 분야에서 비교 가능한 요약의 부족을 해결하기 위해.
• 여러 의료 문서 간의 공감대와 모순을 명시적으로 강조하는 요약 시스템을 개발하기 위해.
• 콘텐츠 선택과 표면 구현을 분리하여 대규모 병렬 학습 데이터에 대한 의존도를 줄이기 위해.
• 새로운 연구가 추가될 경우 이전 정보를 유지하고 통합하면서 효과적인 요약 업데이트를 가능하게 하기 위해.
• 특히 연구 간 일관성이 높은 영양과 같은 분야에서 충실도와 집합 감지 민감도를 향상시키기 위해.

제안 방법

• 모델은 먼저 CRF 기반 엔티티 추출기와 BERT 기반 관계 분류기를 사용하여 입력 PubMed 문서에서 엔티티-관계 튜플을 추출한다.
• 콘텐츠 선택 구성 요소는 결정론적 집합 연산자(예: 공감대, 모순)를 적용하여 주요 관계와 그 비교 관계를 식별한다.
• 표면 구현 구성 요소는 구조화된 관계 출력에서 유창하고 자연스러운 요약을 생성하기 위해 텍스트 인페닝 언어 모델을 사용한다.
• 시스템은 관계 튜플에서의 콘텐츠 선택 최적화와 대규모 텍스트에서의 표면 구현 최적화를 별도로 수행함으로써 제한된 병렬 주석 데이터로 종합적으로 훈련된다.
• 모델을 재학습하지 않고도 새로운 집합 규칙과 추론 논리를 삽입할 수 있도록 인간이 참여하는 제어를 지원한다.
• 기존 발견들과의 관계를 유지하고 올바르게 연결하면서 새로운 정보를 융합함으로써 요약 업데이트를 지원한다.

실험 결과

연구 질문

• RQ1 저자원 건강 요약에서 종합적인 신경 모델에 비해 하이브리드 신경-기호 접근 방식이 더 충실도가 높고 집합 감지 민감도가 높은 요약을 생성할 수 있는가?
• RQ2 제한된 주석 데이터로도 다수의 건강 연구 간 공감대와 모순을 탐지하고 표현할 수 있는 시스템의 성능은 어떠한가?
• RQ3 구조화된 관계 기반 콘텐츠에 의해 안내될 때 텍스트 인페닝 언어 모델이 얼마나 자연스럽고 사실에 기반한 요약을 생성할 수 있는가?
• RQ4 새로운 연구(가능성 있는 모순 포함)가 도입될 경우 모델이 기존 요약을 효과적으로 업데이트할 수 있는가?
• RQ5 콘텐츠 선택과 표면 구현을 분리함으로써 다중 문서 요약에서 충실도와 집합 인지 능력이 향상되는가?

주요 결과

• 모델은 다음 최고의 베이스라인 대비 20% 높은 집합 인지 능력을 확보하여 공감대와 모순을 탐지하고 표현하는 데 뛰어난 능력을 입증하였다.
• 표준 및 업데이트 설정 모두에서 최신 기준 대비 콘텐츠 관련성은 7% 향상되고 입력 문서에 대한 충실도는 7% 향상되었다.
• 정보 추출 파이프라인은 엔티티 추출에서 F1 점수 79%, 관계 분류에서 정확도 69%, 집합 연산자 식별에서 정확도 78%를 기록하였다.
• 시스템은 요약 업데이트에서도 높은 성능을 유지하여 새로운 정보를 정확히 융합하면서도 이전 발견들과의 관계를 올바르게 유지하였다.
• 인간 평가 결과, 모델이 자동 생성 또는 복사 생성 기반 베이스라인보다 더 관련성 있고 충실도가 높으며 비교 관계에 민감한 요약을 생성하는 것으로 확인되었다.
• 하이브리드 설계 덕분에 병렬 데이터가 제한된 상황에서 안정적인 성능을 발휘하였으며, 유사한 유창성에도 불구하고 순차-순차 모델보다 충실도와 집합 인지 능력에서 뛰어난 성능을 보였다.