[논문 리뷰] Transformers Go for the LOLs: Generating (Humourous) Titles from Scientific Abstracts End-to-End

Yanran Chen, Steffen Eger|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 희망적인 성능을 보이는 토너먼트 기반 모델을 미세조정하여 과학적 초록에서 종합적인 제목 생성을 제안하며, 2,638개의 유머 감정이 부여된 과학적 제목으로 구성된 새로운 데이터셋을 제안한다. 분석 결과, 최고의 미세조정 모델은 인간이 작성한 제목과 거의 동등한 성능을 보였지만, 유머 생성은 여전히 도전 과제로 남아 있으며, 모델은 인간에 비해 성능이 열 劣하고 데이터셋의 특징을 학습하는 경향이 있다. 반면, 미세조정 없이도 체크챗GPT는 최고의 미세조정 모델과 유사한 성능을 내며, 유사한 결과를 도출한다.

ABSTRACT

We consider the end-to-end abstract-to-title generation problem, exploring seven recent transformer based models (including ChatGPT) fine-tuned on more than 30k abstract-title pairs from NLP and machine learning (ML) venues. As an extension, we also consider the harder problem of generating humorous paper titles. For the latter, we compile the first large-scale humor annotated dataset for scientific papers in the NLP/ML domains, comprising almost ~2.6k titles. We evaluate all models using human and automatic metrics. Our human evaluation suggests that our best end-to-end system performs similarly to human authors (but arguably slightly worse). Generating funny titles is more difficult, however, and our automatic systems clearly underperform relative to humans and often learn dataset artefacts of humor. Finally, ChatGPT, without any fine-tuning, performs on the level of our best fine-tuned system.

연구 동기 및 목표

• 초록에서 과학 논문 제목을 생성하기 위한 종합적인 트랜스포머 기반 모델을 개발한다.
• 유머가 포함된 과학 논문 제목 생성의 가능성에 대해 조사한다. 이는 유머의 모호성과 주관성으로 인해 복잡한 과제이다.
• NLP 및 머신러닝 분야에서 처음으로 대규모로 인간이 감정을 부여한 유머가 포함된 과학적 제목 데이터셋을 구축하고 공개한다.
• 미세조정된 모델과 체크챗GPT와 같은 제로샷 대규모 언어 모델(LM) 간의 제목 생성 품질을 비교한다.
• 현재 모델의 한계를 분석한다. 특히, 미묘한 유머를 포착하지 못하고 환영을 일으키는 경향이 있는지에 대해 분석한다.

제안 방법

• NLP 및 머신러닝 컨ference에서 수집한 30,352개의 초록-제목 쌍을 기반으로 최근의 트랜스포머 기반 모델 7종(예: BART, LED, GPT 변종)을 미세조정한다.
• 두 명의 인간 평가자가 상당한 일致도(카파 ~0.65)를 보이며 감정을 부여한 대규모 유머 감정 부여 데이터셋 2,638개를 추가로 확장하여 학습에 활용한다.
• 자동 평가 지표(ROUGE)와 15명의 평가자에 의한 인간 평가를 병행하여 제목 품질과 유머 수준을 평가한다.
• 초록만을 사용하는 종합 모델(A)과 </s> 토큰을 사용해 결론 등 추가 섹션을 결합한 모델(X) 간 성능을 비교한다.
• 체크챗GPT의 제로샷 성능을 동일한 작업에 대해 미세조정 없이 평가한다.
• A 및 X 변형 모델의 출력을 비교함으로써 환영과 关련 키워드 누락 등의 모델 행동을 분석하기 위해 추론 실험(ablation study)를 수행한다.

실험 결과

연구 질문

• RQ1 종합적인 트랜스포머 모델은 인간이 작성한 제목과 유사한 고품질의 과학 논문 제목을 생성할 수 있는가?
• RQ2 미세조정된 모델은 얼마나 효과적으로 유머가 포함된 과학 논문 제목을 생성할 수 있으며, 진정된 유머를 학습하는가 아니면 데이터셋의 특징만 학습하는가?
• RQ3 초록 외에 추가 섹션(예: 결론)을 포함함으로써 제목 생성 성능이 얼마나 향상되는가?
• RQ4 체크챗GPT의 제로샷 성능은 미세조정된 모델과 비교해 어떻게 다른가?
• RQ5 현재 모델이 유머 생성에서 어려움을 겪는 이유는 무엇이며, 주요 실패 유형은 무엇인가?

주요 결과

• 최고의 미세조정 모델은 인간 평가에서 인간이 작성한 제목과 거의 동등한 성능을 보였지만, 略로 떨어지는 경향이 있었다.
• 유머 생성은 여전히 큰 과제로 남아 있다: 모델은 인간에 비해 뚜렷하게 열 劣하고, 종종 진정된 유머보다는 표면적인 데이터셋 특징을 학습한다.
• 미세조정 없이도 체크챗GPT는 최고의 미세조정 모델과 유사한 품질의 제목을 생성하여 강력한 제로샷 일반화 능력을 보였다.
• 초록만을 기반으로 학습한 모델(A)은 다른 섹션에 존재하는 핵심 정보를 자주 누락하여 불완전하거나 정확하지 않은 제목을 생성한다.
• 전체 텍스트 입력을 기반으로 학습한 모델(X)은 핵심 용어를 더 잘 포착하여 성능 향상을 보였지만, 여전히 환영과 표면 패턴에 과도하게 의존하는 문제가 있다.
• 본 연구는 A2T 작업이 본질적으로 부적절한 문제임을 드러내며, 높은 품질의 제목은 종종 초록 외의 지식이 필요하지만, 종합 모델은 여전히 실용적이고 효율적인 근사치로 남아 있음을 보여준다.