[논문 리뷰] How to Write High-quality News on Social Network? Predicting News Quality by Mining Writing Style

Yuting Yang, Juan Cao외 3명|arXiv (Cornell University)|2019. 02. 02.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 논문은 기존의 글쓰기 지침에서 유도된 여덟 가지 언어적 특징을 분석함으로써 뉴스 품질을 예측하는 사회적 네트워크 뉴스 품질 평가 모델(SNQAM)을 제안한다. 이 모델은 인기(품질의 대체 지표로 사용됨)와의 상관관계를 바탕으로 이러한 특징들을 가중치화하여 높은 해석 가능성과 함께, 소셜 미디어 플랫폼에서 뉴스 글쓰기 스타일을 향상시키기 위한 구체적인 제안을 제공한다.

ABSTRACT

Rapid development of Internet technologies promotes traditional newspapers to report news on social networks. However, people on social networks may have different needs which naturally arises the question: whether can we analyze the influence of writing style on news quality automatically and assist writers in improving news quality? It's challenging due to writing style and 'quality' are hard to measure. First, we use 'popularity' as the measure of 'quality'. It is natural on social networks but brings new problems: popularity are also influenced by event and publisher. So we design two methods to alleviate their influence. Then, we proposed eight types of linguistic features (53 features in all) according eight writing guidelines and analyze their relationship with news quality. The experimental results show these linguistic features influence greatly on news quality. Based on it, we design a news quality assessment model on social network (SNQAM). SNQAM performs excellently on predicting quality, presenting interpretable quality score and giving accessible suggestions on how to improve it according to writing guidelines we referred to.

연구 동기 및 목표

• 소셜 미디어 환경에서 글쓰기 스타일이 뉴스 품질에 미치는 영향을 조사하기 위해.
• 인간 평가 없이도 인기 지표를 대체 지표로 사용하여 뉴스 품질을 측정하는 데 도전하기 위해.
• 품질을 예측할 뿐 아니라, 실천 가능한 해석 가능한 개선 제안을 제공하는 모델을 개발하기 위해.
• 이벤트의 유행성과 발행자 영향력 등의 혼란 요인들로부터 글쓰기 스타일의 영향을 분리하기 위해.
• 소셜 미디어 뉴스 콘텐츠의 자동화된 지침 기반 품질 평가 프레임워크를 구축하기 위해.

제안 방법

• 기존의 뉴스 글쓰기 지침에 기반해 여덟 가지 언어적 특징 유형을 정의: 가독성, 신뢰성, 흥미진영, 자극성 등.
• 구두점 사용, 대명사 빈도, 구조적 요소 등을 포함한 총 53개의 구체적 언어적 특징을 뉴스 게시물에서 추출.
• 이벤트와 발행자 영향력의 영향을 글쓰기 스타일의 영향에서 분리하기 위해 상호 사용자 및 내부 사용자 분석을 수행.
• 각 사용자 내부에서 이진 분류(매우 좋음 대비 일반적)를 통해 특징 중요도(I_i)를 계산하고, 사용자 간 상관관계(C_i)를 산정.
• 특징 가중치를 W_i = I_i * C_i로 계산하고, 공식 News_Quality_Score = Σ(W_i * F_i)를 사용해 총 품질 점수로 집계.
• 총 점수에 대한 여덟 가지 글쓰기 요소의 기여도를 분석하여 구체적인 피드백을 생성.

실험 결과

연구 질문

• RQ1 특정 글쓰기 스타일 특징이 소셜 네트워크에서 뉴스 인기와 얼마나 관련이 있는가?
• RQ2 이벤트 유형이나 발행자 영향력과 같은 외부 요인이 글쓰기 스타일 영향 평가에 미치는 영향은 어떻게 완화할 수 있는가?
• RQ3 언어적 특징의 가중 조합이 높은 해석 가능성과 실용적 유용성을 갖춘 뉴스 품질을 예측할 수 있는가?
• RQ4 가독성, 신뢰성, 흥미진영, 자극성 등의 글쓰기 지침 중 어느 것이 뉴스 인기에 가장 강력한 영향을 미치는가?
• RQ5 모델이 실천 가능한 지침 기반의 뉴스 품질 향상 제안을 제공할 수 있는가?

주요 결과

• SNQAM 모델은 예측된 품질 점수와 실제 뉴스 인기 간 스피어만 순위 상관관계(SRC)가 0.606을 기록한다.
• 품질과 관련된 상위 20개 특징은 사용자 간에 매우 일관되며, 모든 사용자에서 상위 20위 내에 포함된 특징이 10개에 이른다.
• 가독성, 신뢰성, 흥미진영, 자극성과 관련된 특징이 뉴스 품질과 가장 강력하고 일관된 상관관계를 보인다.
• 신화넷에서 주기 50 이후 뚜렷한 글쓰기 스타일 전환—감탄문장, 이모티콘, 몰입감 있는 묘사의 증가—이 지속적인 품질 향상과 동시에 발생했다.
• 모델은 고품질 및 저품질 게시물을 성공적으로 구분하였으며, Post1에는 0.770, Post2에는 0.207의 점수를 할당하여 부진한 요소에 대한 명확한 진단적 통찰을 제공하였다.