[논문 리뷰] GOAL: Towards Benchmarking Few-Shot Sports Game Summarization

Jiaan Wang, Tingyi Zhang외 1명|arXiv (Cornell University)|2022. 07. 18.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 103개의 코멘터리-뉴스 쌍과 2,160개의 레이블이 없는 코멘터리를 포함한, 소수의 예시를 사용하는 스포츠 게임 요약을 위한 영어 데이터셋인 GOAL을 소개한다. 테스트에서 LED와 같은 강력한 개괄적 기준 모델이 ROUGE-L 점수 24.3을 기록했음에도 불구하고, 데이터가 제한적이고 코멘터리와 뉴스 간 스타일의 상이성으로 인해 지속적인 과제가 드러나며, 스포츠 전용 언어의 모델링 및 지식 통합 개선의 필요성을 시사한다.

ABSTRACT

Sports game summarization aims to generate sports news based on real-time commentaries. The task has attracted wide research attention but is still under-explored probably due to the lack of corresponding English datasets. Therefore, in this paper, we release GOAL, the first English sports game summarization dataset. Specifically, there are 103 commentary-news pairs in GOAL, where the average lengths of commentaries and news are 2724.9 and 476.3 words, respectively. Moreover, to support the research in the semi-supervised setting, GOAL additionally provides 2,160 unlabeled commentary documents. Based on our GOAL, we build and evaluate several baselines, including extractive and abstractive baselines. The experimental results show the challenges of this task still remain. We hope our work could promote the research of sports game summarization. The dataset has been released at https://github.com/krystalan/goal.

연구 동기 및 목표

• 스포츠 게임 요약을 위한 영어 데이터셋의 부족으로 인해 이 분야의 글로벌 연구가 제한된 문제를 해결하기 위해.
• 실시간 영어 코멘터리와 해당 뉴스 기사와 함께 실제 데이터를 사용하여 소수의 예시 스포츠 게임 요약을 위한 벤치마크 데이터셋을 구축하기 위해.
• 2,160개의 추가 레이블이 없는 코멘터리 문서를 제공함으로써 준지도 학습 학습을 지원하기 위해.
• 추출적 및 개괄적 기준 모델을 평가하여 스타일 전이와 사실 일관성 유지 문제를 드러내며, 과제의 어려움을 평가하기 위해.
• 향후 다국어, 지식 강화 및 그래프 기반 모델링을 통한 스포츠 요약 분야의 연구를 촉진하기 위해.

제안 방법

• 저자는 2016년에서 2020년 사이에 Goal.com에서 2,263개의 축구 경기 코멘터리를 수집하였으며, 이 중 103개는 공식 스포츠 뉴스와 쌍을 이루었다.
• 데이터셋은 학습, 검증, 테스트를 위해 63/20/20 비율로 분할되었으며, 준지도 학습을 위해 추가로 2,160개의 레이블이 없는 코멘터리가 제공되었다.
• ROUGE-1/2/L을 자동 평가 지표로 사용하여 추출적 기준 모델(가장 긴 문장, TextRank, PacSum)과 개괄적 모델(PGN, LED)을 평가하였다.
• LED 모델은 학습률 3e-5, 배치 크기 4, 10 에포크로 미세조정되었으며, 입력 토큰 4096개와 출력 토큰 1024개로 잘라내기 기법을 사용하였다.
• 모델 행동 분석을 위해 생성된 뉴스에서 핵심 동사를 분석하여 스포츠 전용 이벤트 이해 정도를 평가하였다.
• 추론 중 Hugging Face의 LED-base-16384 모델을 사용하였으며, 희소 어텐션과 빔 서치 디코딩을 적용하였다.

실험 결과

연구 질문

• RQ1 저자원, 소수의 예시를 사용하는 영어 스포츠 요약 벤치마크에서 추출적 및 개괄적 모델의 성능는 어떻게 비교되는가?
• RQ2 현재 모델들은 스포츠 뉴스 생성 시 핵심 이벤트를 얼마나 잘 포착하고 사실 일관성을 유지하는가?
• RQ3 제한된 영어 데이터로 학습된 모델들은 구어체 코멘터리에서 공식 뉴스 스타일로의 어휘적·의미적 전환을 효과적으로 학습할 수 있는가?
• RQ4 2,160개의 레이블이 없는 코멘터리를 활용한 준지도 학습은 요약 성능 향상에 얼마나 효과적인가?
• RQ5 외부 지식은 복잡한 스포츠 이벤트 이해를 향상시키고 환각 현상을 완화하는 데 어떤 역할을 하는가?

주요 결과

• LED 개괄적 모델은 테스트 세트에서 ROUGE-L 점수 24.3을 기록하여 추출적 방법과 PGN를 모두 앞서며, 이 과제에서 개괄적 생성의 우수성을 보여주었다.
• Longest와 TextRank와 같은 추출적 기준 모델은 ROUGE-L 점수 20 미만을 기록하여 코멘터리와 뉴스 간 스타일의 상이성으로 인한 낮은 성능을 보였다.
• PGN 모델은 테스트에서 ROUGE-L 21.4를 기록하여 추출적 방법보다 성능 향상을 보였지만, 장문의 컨텍스트 처리의 비효율성으로 인해 여전히 한계가 있었다.
• 수동 분석을 통해 LED 모델이 빈번히 문장을 반복하고 '블로킹'과 같은 복잡하거나 드문 이벤트를 포착하지 못함을 확인하여 희귀 스포츠 동작에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• 간단한 동사인 'beat'는 정확히 예측했지만, 미묘하거나 복잡한 동작에는 어려움을 겪어 스포츠 전용 언어 이해 능력이 제한되어 있음을 시사했다.
• 이 연구는 레이블이 103개뿐인 소수의 예시 설정이 모델 학습에 심각한 제약을 주며, 외부 지식 또는 다중 작업 학습의 필요성을 확인한다.