[論文レビュー] Who is Addressed in this Comment? Automatically Classifying Meta-Comments in News Comments

Marlo Häring, Wiebke Loosen+1 more|arXiv (Cornell University)|Oct 2, 2018

Topic Modeling参考文献 39被引用数 6

ひとこと要約

本稿では、ジャーナリスト、ニュースルーム、モデレーターを対象とするコメント（メタコメント）を自動分類する手法を提示している。従来の教師あり学習と、単語埋め込みを用いたエンドツーエンドのディープラーニングの両方を用いる。ドイツ語のニュースコメントデータセットにおいて、F₀.₅スコアは76%から91%の間で達成され、ユーザーとジャーナリストの関与の向上やニュースルームのフィードバックシステムへの実用的応用が示された。

ABSTRACT

User comments have become an essential part of online journalism. However, newsrooms are often overwhelmed by the vast number of diverse comments, for which a manual analysis is barely feasible. Identifying meta-comments that address or mention newsrooms, individual journalists, or moderators and that may call for reactions is particularly critical. In this paper, we present an automated approach to identify and classify meta-comments. We compare comment classification based on manually extracted features with an end-to-end learning approach. We develop, optimize, and evaluate multiple classifiers on a comment dataset of the large German online newsroom SPIEGEL Online and the 'One Million Posts' corpus of DER STANDARD, an Austrian newspaper. Both optimized classification approaches achieved encouraging $F_{0.5}$ values between 76% and 91%. We report on the most significant classification features with the results of a qualitative analysis and discuss how our work contributes to making participation in online journalism more constructive.

研究の動機と目的

• オンラインジャーナリズムにおける膨大なユーザーコメントの手作業でのスクリーニングの課題に対処するため、その中で行動可能なフィードバックを含むのはほんのわずかである。
• ジャーナリズムの実践、メディア機関、またはモデレーションに関する話題ではない「メタコメント」を特定する自動化されたシステムを開発し、的確な返信を可能にする。
• ドイツ語のニュースコメントデータセットにおけるメタコメント分類において、従来の特徴ベースの機械学習とエンドツーエンドのニューラルネットワークアプローチを比較する。
• 建設的フィードバック、修正、機能要請、返信を要する質問を特定することで、ニュースルームとモデレーターに実用的なイン사이트を提供する。
• メディア組織とその読者との対話を自動化されたコメント分析を通じてスケーラブルなツールとして発展させる支援を行う。

提案手法

• 本研究では、SPIEGEL Online と DER STANDARD の「One Million Posts」コーパスの2つのデータセットを用い、合計で約1,100万件のドイツ語ユーザーコメントを対象とする。
• 全コメントコーパス上で単語とコメントの埋め込みを学習させ、意味的特徴を捉え、転移学習とより良い特徴表現を可能にする。
• 手動で抽出された言語的・構造的特徴（例：言及パターン、標点、語彙的手がかり）を用いた教師あり機械学習アプローチを実装する。
• 学習された埋め込みを用いたエンドツーエンドのディープラーニングモデルを構築し、特徴抽出と分類の同時最適化を可能にする。
• 両アプローチの性能最適化のためハイパーパramータチューニングを実施し、F₀.₅を主な評価指標としてモデル評価を実施する。
• 誤分類例および高信頼度予測の定性的分析を実施し、モデルの解釈可能性と関連性を検証する。

実験結果

リサーチクエスチョン

• RQ1 手動で設計された特徴を用いた教師あり機械学習アプローチは、ジャーナリスト、ニュースルーム、またはモデレーターを対象とするメタコメントの分類において、どの程度効果的か？
• RQ2 学習された単語埋め込みを用いたエンドツーエンドのディープラーニングモデルは、従来の特徴ベース分類を上回る性能を示せるか？
• RQ3 メタコメントと通常の記事関連コメントを区別する上で、最も顕著な言語的・構造的特徴は何か？
• RQ4 異なるコメント文化を有する2つの大規模な実世界のドイツ語ニュースコメントデータセットにおいて、分類結果の一般化性能はどの程度か？
• RQ5 オンラインジャーナリズムにおいて、メタコメントを自動で特定することから導ける実用的応用事例は何か？

主な発見

• 教師あり機械学習アプローチは、2つのデータセットでF₀.₅スコア76%～85%を達成し、手作業で設計された特徴による強力な性能を示した。
• エンドツーエンドのディープラーニングモデルは、「One Million Posts」データセットにおいて、従来のアプローチを上回り、F₀.₅スコア91%を達成した。
• 両データセットに共通する顕著な特徴には、明示的な言及マーカー（例：「an die Redaktion」）や、直接的呼びかけを示す標点パターン、文構造が含まれた。
• 定性的分析により、モデルが修正、質問、機能要請、モデレーションに関する苦情を含む多様な建設的フィードバックを的確に捉えていることが確認された。
• 本研究では、大規模なユーザーコメントコーパス上で学習された単語埋め込みが、特に意味的意図の捉え込みにおいて分類性能を顕著に向上させることを示した。
• 結果から、自動メタコメント検出は、ニュースルームが返信に値するフィードバックを特定し、透明性と読者参加の向上を支援できることが示唆された。