[논문 리뷰] Graph-Evolving Meta-Learning for Low-Resource Medical Dialogue Generation

Shuai Lin, Pan Zhou외 5명|arXiv (Cornell University)|2020. 12. 22.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 공감적 질병-증상 관계에서 초기화된 메타지식 그래프를 활용하고 소수의 대화 예제를 사용해 동적으로 진화시키는, 저자원 의료 대화 생성을 위한 새로운 프레임워크인 Graph-Evolving Meta-Learning (GEML)을 제안한다. 메타학습과 그래프 추론을 통합함으로써 GEML은 극소수의 데이터로도 새로운 질병에 빠르게 적응할 수 있게 하여, CMDD 및 Chunyu 데이터셋에서 진단 정확도와 응답 품질을 크게 향상시킨다.

ABSTRACT

Human doctors with well-structured medical knowledge can diagnose a disease merely via a few conversations with patients about symptoms. In contrast, existing knowledge-grounded dialogue systems often require a large number of dialogue instances to learn as they fail to capture the correlations between different diseases and neglect the diagnostic experience shared among them. To address this issue, we propose a more natural and practical paradigm, i.e., low-resource medical dialogue generation, which can transfer the diagnostic experience from source diseases to target ones with a handful of data for adaptation. It is capitalized on a commonsense knowledge graph to characterize the prior disease-symptom relations. Besides, we develop a Graph-Evolving Meta-Learning (GEML) framework that learns to evolve the commonsense graph for reasoning disease-symptom correlations in a new disease, which effectively alleviates the needs of a large number of dialogues. More importantly, by dynamically evolving disease-symptom graphs, GEML also well addresses the real-world challenges that the disease-symptom correlations of each disease may vary or evolve along with more diagnostic cases. Extensive experiment results on the CMDD dataset and our newly-collected Chunyu dataset testify the superiority of our approach over state-of-the-art approaches. Besides, our GEML can generate an enriched dialogue-sensitive knowledge graph in an online manner, which could benefit other tasks grounded on knowledge graph.

연구 동기 및 목표

• 새로운 질병에 대해 극소수의 대화 인스턴스만 존재하는 저자원 의료 대화 생성 문제를 해결하기 위해.
• 공유된 질병-증상 상관관계를 활용해 고자원 질병에서 저자원 질병으로 진단 지식을 전이하기 위해.
• 새로운 임상 사례에 따라 변화하는 질병-증상 관계를 모델링하여 정적 지식 그래프의 한계를 극복하기 위해.
• 최소한의 대화 턴으로 의학적으로 타당하고 유창한 응답을 생성하는 대화 시스템을 개발하기 위해.
• 소수의 대화 예제만으로도 새로운 질병에 모델을 신속하게 적응시킬 수 있도록 하기 위해.

제안 방법

• 프레임워크는 다층 표현 방식으로 대화 이력을 다중 수준 표현으로 나타내는 계층적 컨텍스트 인코더를 사용한다.
• 메타지식 그래프 추론(MGR) 모듈은 도착하는 대화 데이터에 기반해 파arameterized 메타지식 그래프를 동적으로 진화시킨다.
• 메타지식 그래프는 공감적 지식 그래프에서 초기화되며, 실제 대화 예제에서 유도된 엔티티와 관계로 풍부화된다.
• 모델은 메타학습(Reptile 알고리즘을 통해)을 사용하여, 소수의 샘플로도 새로운 질병에 신속하게 적응할 수 있는 메타초기화를 학습한다.
• 그래프 가이드드 응답 생성기가 진화하는 메타지식 그래프를 기반으로 증상 요청 또는 진단 응답을 생성한다.
• 그래프 진화는 추론 중에 온라인으로 수행되어, 더 많은 사례가 관찰될수록 새로운 질병-증상 패턴에 모델이 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 메타학습 프레임워크는 저자원 질병으로의 진단 지식 전이를 효과적으로 수행할 수 있는가?
• RQ2 추론 과정에서 지식 그래프를 어떻게 동적으로 진화시켜 실제 세계의 질병-증상 상관관계 변화를 반영할 수 있는가?
• RQ3 그래프 진화가 저자원 환경에서 응답 품질과 진단 정확도에 얼마나 기여하는가?
• RQ4 제안된 방법은 고성능 엔티티 예측 F1 스코어를 유지하면서 대화 턴 수를 줄일 수 있는가?
• RQ5 메타지식 그래프 추론의 통합이 의료 대화 시스템에서 소수의 샘플에 대한 적응 능력을 어떻게 향상시키는가?

주요 결과

• GEML-MGR는 CMDD 데이터셋에서 Entity-F1 스코어 39.37을 기록했고, Chunyu 데이터셋에서는 38.67를 기록하여 모든 베이스라인을 크게 앞서갔다.
• Chunyu 데이터셋에서 GEML-MGR는 BLEU 스코어 23.07과 Entity-F1 38.67을 기록하여 저자원 환경에서 뛰어난 성능을 보였다.
• 인간 평가 결과, GEML-MGR는 지식의 합리성과 생성 품질 모두에서 Meta-MGR 및 FT-MGR보다 유의미하게 높은 점수를 받았다(p < 0.01).
• 제거 실험을 통해 그래프 추론 또는 복사 메커니즘을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이들의 중요성을 입증했다.
• 시각화 결과, 메타지식 그래프가 이전에 누락되었던 엔티티인 'borborygmus'와 'exhaust'를 포함하도록 진화하여 진단의 관련성을 향상시켰다.
• 높은 정확도를 유지하면서 대화 턴 수를 줄여, 증상 문의의 효율성과 더 빠른 진단을 가능하게 했다.