[論文レビュー] How to Write High-quality News on Social Network? Predicting News Quality by Mining Writing Style

Yuting Yang, Juan Cao+3 more|arXiv (Cornell University)|Feb 2, 2019

Topic Modeling参考文献 13被引用数 4

ひとこと要約

本稿では、確立されたライティングガイドラインから導出された8つの言語的特徴を分析することで、ニュースの質を予測する社会的ネットワークニュース品質評価モデル（SNQAM）を提案する。これらの特徴を、人気度（品質の代理指標として用いられる）との相関に基づいて重み付けすることで、高い解釈可能性を実現し、ソーシャルメディアプラットフォームにおけるニュースライティングスタイルの改善に向けた的確な提案を提供する。

ABSTRACT

Rapid development of Internet technologies promotes traditional newspapers to report news on social networks. However, people on social networks may have different needs which naturally arises the question: whether can we analyze the influence of writing style on news quality automatically and assist writers in improving news quality? It's challenging due to writing style and 'quality' are hard to measure. First, we use 'popularity' as the measure of 'quality'. It is natural on social networks but brings new problems: popularity are also influenced by event and publisher. So we design two methods to alleviate their influence. Then, we proposed eight types of linguistic features (53 features in all) according eight writing guidelines and analyze their relationship with news quality. The experimental results show these linguistic features influence greatly on news quality. Based on it, we design a news quality assessment model on social network (SNQAM). SNQAM performs excellently on predicting quality, presenting interpretable quality score and giving accessible suggestions on how to improve it according to writing guidelines we referred to.

研究の動機と目的

• ソーシャルメディアの文脈におけるライティングスタイルがニュース品質に与える影響を調査すること。
• 人的判断を伴わないニュース品質の測定に課題を提起し、人気度を代理指標として用いること。
• 品質を予測するだけでなく、実行可能で解釈可能な改善のための提案を提供するモデルを開発すること。
• 出来事のウイルス的拡散や発信者の影響範囲といった混同要因からライティングスタイルの影響を分離すること。
• ソーシャルメディアのニュースコンテンツに対する自動的でガイドラインに基づく品質評価のフレームワークを構築すること。

提案手法

• 確立されたニュースライティングガイドラインに基づき、8つの言語的特徴タイプ（可読性、信頼性、興味喚起、感傷的表現など）を定義する。
• 句読点の使用、代名詞の頻度、構造的要素などを含む、53の具体的な言語的特徴をニュース投稿から抽出する。
• ユーザー間（Inter-User）およびユーザー内（Intra-User）分析を用いて、出来事や発信者の影響をライティングスタイルの影響から分離する。
• 各ユーザー内で二値分類（非常に良い vs. 通常）を用いて特徴の重要性（I_i）を計算し、ユーザー間で相関（C_i）を算出する。
• 特徴の重みを W_i = I_i * C_i として計算し、式 News_Quality_Score = Σ(W_i * F_i) を用いて総合的品質スコアに集約する。
• 8つのライティングの側面が全体のスコアに与える寄与度を分析することで、的確なフィードバックを生成する。

実験結果

リサーチクエスチョン

• RQ1 特定のライティングスタイル特徴が、ソーシャルネットワーク上のニュースの人気度とどの程度相関しているか。
• RQ2 出来事の種別や発信者の影響範囲といった外部要因の影響を、ライティングスタイルの影響を評価する際どのように軽減できるか。
• RQ3 言語的特徴の重み付き組み合わせが、高い解釈可能性と実用的有用性を備えたニュース品質を予測できるか。
• RQ4 可読性、信頼性、感傷的表現などのライティングガイドライン（例：可読性、信頼性、感傷的表現）の中で、ニュースの人気度に最も強い影響を与えるのはどれか。
• RQ5 モデルが、実行可能でガイドラインに基づいた改善提案を提供できるか。

主な発見

• SNQAMモデルは、予測された品質スコアと実際のニュースの人気度の間で、スピアマン順位相関（SRC）が 0.606 を達成した。
• 品質と相関の高い上位20の特徴は、ユーザー間で極めて一貫しており、全ユーザーの上位20位内に10の特徴が含まれていた。
• 可読性、信頼性、興味喚起、感傷的表現に関する特徴が、ニュース品質と最も強くかつ一貫した相関を示した。
• 新華社ネットでは、第50期以降、感嘆符の使用増加、顔文字の使用増加、魅力的な記述の強化といった顕著なライティングスタイルの変化が、品質の持続的上昇と一致した。
• モデルは、高品質と低品質の投稿を明確に区別でき、投稿1にはスコア 0.770、投稿2にはスコア 0.207 を割り当て、劣化要因となった側面についても明確な診断的洞察を提供した。