[논문 리뷰] Importance-Aware Learning for Neural Headline Editing

Qingyang Wu, Lei Li외 3명|arXiv (Cornell University)|2019. 11. 25.

Topic Modeling참고 문헌 16인용 수 7

한 줄 요약

이 논문은 사전 훈련, 헤드라인 생성으로의 적응, 그리고 자기 중요도 인식(SIA) 손실을 활용하여 자원이 적은 환경에서 헤드라인 품질을 향상시키는 신경 헤드라인 편집 모델을 제안한다. 쉬운 예시의 가중치를 낮추고 더 어려운 편집에 집중함으로써, 반복을 줄이고 보다 전문적이고 인간이 선호하는 헤드라인을 생성함으로써 기존의 기준 모델보다 우수한 성능을 발휘한다.

ABSTRACT

Many social media news writers are not professionally trained. Therefore, social media platforms have to hire professional editors to adjust amateur headlines to attract more readers. We propose to automate this headline editing process through neural network models to provide more immediate writing support for these social media news writers. To train such a neural headline editing model, we collected a dataset which contains articles with original headlines and professionally edited headlines. However, it is expensive to collect a large number of professionally edited headlines. To solve this low-resource problem, we design an encoder-decoder model which leverages large scale pre-trained language models. We further improve the pre-trained model's quality by introducing a headline generation task as an intermediate task before the headline editing task. Also, we propose Self Importance-Aware (SIA) loss to address the different levels of editing in the dataset by down-weighting the importance of easily classified tokens and sentences. With the help of Pre-training, Adaptation, and SIA, the model learns to generate headlines in the professional editor's style. Experimental results show that our method significantly improves the quality of headline editing comparing against previous methods.

연구 동기 및 목표

• 자원이 적은 환경에서의 헤드라인 편집 과제를 해결하기 위해 전문적으로 편집된 중국어 헤드라인의 고품질 데이터셋을 구축하는 것.
• 사전 훈련된 언어 모델과 다단계 훈련을 활용하여 자원이 적은 환경에서의 헤드라인 생성 품질을 향상시키는 것.
• 더 어려운 예시에 우선순위를 두는 새로운 손실 함수를 통해 생성된 헤드라인의 반복과 일반적인 패턴을 줄이는 것.
• 실제 소셜 미디어 응용 프로그램에 적합한 전문 편집자의 스타일적 뉘앙스를 학습하는 모델을 개발하는 것.

제안 방법

• 모델은 중국어 BERT를 인코더로 사용하고, 커스텀 중국어-GPT를 디코더로 사용하는 트랜스포머 기반의 인코더-디코더 아키텍처를 사용한다.
• 세 단계 훈련 파이프라인을 적용한다: 대규모 중국어 코퍼스에서의 사전 훈련, 헤드라인 생성 작업에 대한 적응, PHED 데이터셋에 대한 미세조정.
• 자기 중요도 인식(SIA) 손실은 자주 편집되는 토큰과 문장에 대해 낮은 중요도를 할당함으로써 쉬운 예시의 가중치를 동적으로 낮춘다.
• SIA 손실 함수는 샘플의 어려움에 따라 학습되는 가중치를 사용하는 가중치가 부여된 교차 엔트로피 손실로 정의되며, 더 어려운 예시에 대해 더 높은 가중치를 할당한다.
• 모델은 소셜 미디어 기사에서 유래한 20,994개의 전문적으로 편집된 헤드라인 쌍을 포함하는 PHED 데이터셋에서 미세조정된다.
• 헤드라인 생성을 보조 작업으로 사용하여 모델의 인덕티브 바이어스를 편집 작업과 일치시킴으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 소규모이고 전문적으로 코딩된 데이터셋에 대해 미세조정된 사전 훈련된 순서-순서 모델이 고품질의 헤드라인을 효과적으로 생성할 수 있는가?
• RQ2 중간 단계의 헤드라인 생성 적응 작업을 도입함으로써 헤드라인 편집 작업 성능이 어떻게 향상되는가?
• RQ3 자기 중요도 인식(SIA) 손실이 자원이 적은 헤드라인 편집 환경에서 반복을 줄이고 품질을 향상시키는 데 얼마나 효과적인가?
• RQ4 SIA 손실이 더 어려운 예시에 우선순위를 두어 어려운 편집에서 더 나은 성능을 내는가?
• RQ5 실제 선호도 설정에서 모델의 성능이 인간이 작성한 원본 헤드라인과 비교해 어떻게 되는가?

주요 결과

• SIA 손실을 적용한 제안된 모델은 SIA 없이 훈련된 기준 모델 대비 인간 선호도가 17.4% 높았다.
• 다른 헤드라인만 비교했을 때 인간 평가자들은 SIA 모델을 비-SIA 모델보다 23.0% 더 선호했으며, 이는 SIA가 반복을 줄이는 데 효과적임을 확인한다.
• 인간 평가에서 SIA 모델이 원본 작성자 헤드라인보다 107% 더 선호되었으며, 이는 전문 편집과의 강한 스타일 일치를 의미한다.
• 자동 평가 지표(BLEU-4, ROUGE-L)와 인간 평가를 통해 확인된 바, SIA 모델은 일반적인 패턴과 반복을 줄였다.
• 적응 단계가 성능 향상에 크게 기여했으며, 전체 모델(PAS)은 원본 헤드라인 기준 모델 대비 인간 선호도에서 57.4% 높은 성능을 보였다.
• 20,994개의 샘플이라는 소규모 데이터셋에도 불구하고, 세 단계 훈련 파이프라인(사전 훈련, 적응, SIA 미세조정)은 헤드라인 편집 품질 분야에서 최고 성능을 달성했다.