[논문 리뷰] A Focused Study on Sequence Length for Dialogue Summarization

Bin Wang, Chen Zhang외 2명|arXiv (Cornell University)|2022. 09. 24.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 대화 요약에서 요약 길이의 핵심적인 역할을 조사하며, 사전 훈련된 모델인 BART와 T5가 사전 훈련 목표로 인해 인간 기준 요약보다 훨씬 더 긴 출력을 생성한다는 점을 드러낸다. 예측된 또는 진짜 요약 길이를 입력 토큰으로 통합함으로써 저자들은 단순한 길이 인식 보정(LA-BART)이 ROUGE 및 BERTScore 지표를 향상시키고 길이 변동성을 줄이며, DialogSum 및 SAMSum 데이터셋에서 인간 수준에 가까운 간결성과 성능 향상을 달성함을 보여준다.

ABSTRACT

Output length is critical to dialogue summarization systems. The dialogue summary length is determined by multiple factors, including dialogue complexity, summary objective, and personal preferences. In this work, we approach dialogue summary length from three perspectives. First, we analyze the length differences between existing models' outputs and the corresponding human references and find that summarization models tend to produce more verbose summaries due to their pretraining objectives. Second, we identify salient features for summary length prediction by comparing different model settings. Third, we experiment with a length-aware summarizer and show notable improvement on existing models if summary length can be well incorporated. Analysis and experiments are conducted on popular DialogSum and SAMSum datasets to validate our findings.

연구 동기 및 목표

• 최신 대화 요약 모델이 인간 기준 요약보다 너무 긴 요약을 생성하는 이유를 조사하는 것.
• 대화 특성에서 요약 길이를 예측할 수 있는지 분석하고, 길이 예측에 가장 중요한 특성 요소는 무엇인지 파악하는 것.
• 요약 길이를 명시적인 입력으로 통합했을 때 모델 성능과 제어 가능성에 미치는 영향을 평가하는 것.
• 간단한 길이 인식 보정이 요약 품질과 길이 일관성에 크게 기여함을 보여주는 것.

제안 방법

• 저자들은 DialogSum 및 SAMSum 데이터셋에서 모델 출력과 인간 기준 요약을 비교하여 길이 차이를 정량화하고, 인간 간 일치도를 분석한다.
• 대화 길이, 화자 수, 발언 수 등의 대화 특성을 사용해 참조 요약 길이를 추정하는 길이 예측 모델을 훈련시킨다.
• 요약 길이를 조건부 입력 토큰(예: '요약 길이: 25.')로 삽입하는 BART 기반의 길이 인식 모델(LA-BART)을 제안한다.
• 세 가지 변형을 평가한다: LA-BART v1(추론 시 예측 길이 사용), LA-BART v2(추론 시 진짜 길이 사용), 요약 생성과 길이 예측을 동시에 수행하는 다중 과제 학습 변형.
• 자동 평가에는 ROUGE와 BERTScore를 사용하며, 인간 평가에서는 5점 척도로 요약의 종합 품질을 순위 매긴다.
• 통계 분석으로 예측된 요약 길이와 실제 요약 길이 간 상관관계를 분석하기 위해 피어슨, 스피어만, 켄달 상관계수를 사용한다.

실험 결과

연구 질문

• RQ1 왜 사전 훈련된 대화 요약 모델이 인간 기준 요약보다 더 긴 요약을 생성하는가?
• RQ2 대화 수준의 어떤 특성이 요약 길이를 가장 잘 예측하는가?
• RQ3 예측된 또는 진짜 요약 길이를 입력으로 통합하면 생성된 요약의 간결성과 품질이 향상되는가?
• RQ4 표준 자동 회귀 생성 방식과 비교했을 때 길이 인식 생성 방식은 ROUGE, BERTScore, 길이 변동성 측면에서 어떻게 다른가?

주요 결과

• BART Large는 평균 54.2단어의 요약을 생성하는 반면, 인간 기준 요약은 평균 46.3단어로, 7.9단어의 절대 길이 차이를 보이며 뚜렷한 과다 생성 문제를 드러낸다.
• 인간 간 길이 일치도는 높은 편이다(r=76.9), 반면 모델과 인간 간 길이 상관관계는 낮다(BART Large: r=74.6). 이는 모델이 인간 수준의 길이 일관성을 따라하지 못함을 보여준다.
• 진짜 길이 입력을 사용한 LA-BART는 DialogSum에서 절대 길이 차이를 2.6단어로 줄였고, SAMSum에서는 4.1단어로 줄여 인간 수준의 길이 정확도에 가까워졌다.
• 예측 길이를 사용한 LA-BART v1은 DialogSum에서 길이 차이를 7.9에서 5.5단어로 줄였고, BERTScore를 51.6에서 52.3으로 향상시켜 명백한 성과 향상을 보였다.
• 다중 과제 학습을 통한 길이 예측은 길이 예측 정확도와 요약 품질을 모두 향상시키며, DialogSum에서 BERTScore는 51.6에서 52.3으로 상승했다.
• 인간 평가 결과, 진짜 길이 입력을 사용한 LA-BART는 생성된 요약 중에서 가장 높은 순위를 기록했으며, 표준 BART 및 예측 길이를 사용한 LA-BART를 모두 압도했다.