[논문 리뷰] Adding more data does not always help: A study in medical conversation summarization with PEGASUS

Varun Nair, Namit Katariya외 3명|arXiv (Cornell University)|2021. 11. 15.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 PEGASUS 모델을 사용하여 의료 대화 요약에 대해 데이터 규모와 반복 레이블링 전략의 영향을 조사한다. 성능이 1,000개의 레이블된 예제로도 빠르게 포화 상태에 이르며, 주의 깊은 학습 또는 가짜 레이블링 전략이 단순한 데이터 크기 증가보다 유의미한 향상 효과를 내지 못함을 발견한다. 이는 모델 용량과 도메인 전문 용어가 더 많은 데이터로부터의 이점을 제한함을 시사한다.

ABSTRACT

Medical conversation summarization is integral in capturing information gathered during interactions between patients and physicians. Summarized conversations are used to facilitate patient hand-offs between physicians, and as part of providing care in the future. Summaries, however, can be time-consuming to produce and require domain expertise. Modern pre-trained NLP models such as PEGASUS have emerged as capable alternatives to human summarization, reaching state-of-the-art performance on many summarization benchmarks. However, many downstream tasks still require at least moderately sized datasets to achieve satisfactory performance. In this work we (1) explore the effect of dataset size on transfer learning medical conversation summarization using PEGASUS and (2) evaluate various iterative labeling strategies in the low-data regime, following their success in the classification setting. We find that model performance saturates with increase in dataset size and that the various active-learning strategies evaluated all show equivalent performance consistent with simple dataset size increase. We also find that naive iterative pseudo-labeling is on-par or slightly worse than no pseudo-labeling. Our work sheds light on the successes and challenges of translating low-data regime techniques in classification to medical conversation summarization and helps guides future work in this space. Relevant code available at \\url{https://github.com/curai/curai-research/tree/main/medical-summarization-ML4H-2021}.

연구 동기 및 목표

• PEGASUS가 의료 대화 요약에 대해 미세조정할 때 데이터셋 크기가 성능에 미치는 영향을 평가하는 것.
• 낮은 데이터 환경에서 주의 깊은 학습 및 가짜 레이블링 전략이 개괄적 요약 성능을 향상시키는지 평가하는 것.
• 의료 대화 요약에서 반복 레이블링 전략이 단순한 데이터 스케일링 전략을 능가하는지 여부를 판단하는 것.
• 도메인 특화된 저자원 의료 NLP 작업에서 PEGASUS를 사용한 전이 학습의 한계를 이해하는 것.

제안 방법

• 다양한 수의 인간 레이블링 요약을 가진 의료 대화 데이터셋에 대해 PEGASUS 개괄적 요약 모델을 미세조정하였다.
• 모델 신뢰도를 기반으로 선택을 유도하는 두 가지 레이블링 전략인 전문가 레이블링(HL)과 가짜 레이블링(PL)을 사용한 반복적 자기학습을 구현하였다.
• HL에 대해 모델 불확실성 기반으로 상위 1%, 하위 1%, 무작위 1%의 미레이블링 샘플을 대상으로 한 여러 샘플링 전략을 탐색하였다.
• 다양한 훈련 세트 크기와 레이블링 반복 횟수에서 의료 개념, 확인 사항, ROUGE 지표를 사용해 성능을 평가하였다.
• Chintagunta 등(2021)의 이전 연구 결과와 비교하여 더 큰 레이블링 데이터셋 기준으로 성능를 평가하였다.
• 가짜 레이블링 및 전문가 레이블링의 영향을 분리하기 위해 제거 실험(ablation studies)를 수행하였다. 이는 추가 레이블링이 없는 경우를 포함한다.

실험 결과

연구 질문

• RQ1 PEGASUS를 사용한 의료 대화 요약에서 레이블링 데이터셋 크기를 늘리면 일관된 성능 향상이 이루어지는가?
• RQ2 낮은 데이터 환경에서 주의 깊은 학습 전략(예: 고신뢰도 또는 불확실한 샘플 선택)이 단순한 데이터 스케일링 전략을 능가하는가?
• RQ3 반복적 자기학습과 결합했을 때 가짜 레이블링이 요약 성능 향상에 효과적인가?
• RQ4 모델 성능은 데이터셋 크기에 따라 어떻게 포화되는가? 추가 레이블링이 더 이상 효과가 없는 지점은 언제인가?
• RQ5 샘플링 전략(상위 1%, 하위 1%, 무작위 1%)이 낮은 데이터 환경에서 최종 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 의료 대화 요약 성능은 매우 빠르게 포화 상태에 이르며, 1,250개의 훈련 샘플에서 개념 F1이 0.41에 도달하고 6,400개 샘플에서는 0.43에 도달하여 작은 데이터셋 이후 수익 감소가 나타남을 확인함.
• 초기 1,000개 예제와 한 번의 가짜 레이블링 반복(미레이블링 세트의 1%)을 적용한 모델이 6,400개의 인간 레이블링 예제를 사용한 단일 반복 모델(0.43 F1)보다 높은 0.44 개념 F1을 기록함.
• 가짜 레이블링은 레이블링 없이 사용한 것과 유사하거나 약간 열 劣하며, 성능 향상이 가장 크게 나타난 것은 첫 번째 자기학습 반복 이후임.
• 모든 인간 레이블링 전략(상위 1%, 하위 1%, 무작위 1%)이 유사하게 성능을 보였으며, 이는 샘플링 전략 선택이 최종 성능에 미치는 영향이 미미함을 시사함.
• 성능는 이론적 최대치(예: 개념 F1 0.44 대 0.63)에 크게 못 미치며, 최적화 문제보다는 모델 자체 또는 데이터의 본질적 한계 때문임을 시사함.
• 하이퍼파rameter 튜닝에도 불구하고 추가 데이터로 성능 향상이 없음을 고려할 때, PEGASUS는 의료 대화의 도메인 전문 용어에 적응하는 데 어려움을 겪는 고편향 모델일 수 있음.