[論文レビュー] Saved You A Click: Automatically Answering Clickbait Titles

Oliver Johnson, Beicheng Lou+2 more|arXiv (Cornell University)|Dec 15, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本稿では、Redditの「SavedYouAClick」とFacebookの「StopClickbait」ページから得たユーザー生成の答えを用いて、抽出型（RoBERTa）および生成型（T5）の質問応答モデルを微調整するシステムを提案する。微調整後、抽出型モデルはROUGEスコアで優れた性能を示した一方、生成型モデルはBERTscoreが高く、より自然で文法的に正しい応答を生成した。

ABSTRACT

Often clickbait articles have a title that is phrased as a question or vague teaser that entices the user to click on the link and read the article to find the explanation. We developed a system that will automatically find the answer or explanation of the clickbait hook from the website text so that the user does not need to read through the text themselves. We fine-tune an extractive question and answering model (RoBERTa) and an abstractive one (T5), using data scraped from the 'StopClickbait' Facebook pages and Reddit's 'SavedYouAClick' subforum. We find that both extractive and abstractive models improve significantly after finetuning. We find that the extractive model performs slightly better according to ROUGE scores, while the abstractive one has a slight edge in terms of BERTscores.

研究の動機と目的

• クリックベイトの見出しによる時間の無駄を解消するため、クリックベイトの見出しに対して要約された答えを自動生成すること。
• クリックベイトのスパイラーが抽出型および生成型QAアプローチを用いて閉域の質問応答タスクとしてモデル化可能かどうかを検討すること。
• 新たにスクレイピングしたユーザー生成のクリックベイトの答えのデータセット上で、微調整された抽出型および生成型モデルの性能を評価すること。
• 抽出型モデルと生成型モデルの、正確さ、自然さ、事実の整合性という観点での強みと弱みを比較すること。

提案手法

• Redditの『SavedYouAClick』およびFacebookの『StopClickbait』ページから2,538件のReddit投稿および1,287件のFacebook投稿をスクレイピングし、(文脈, 質問, 応答)のデータセットを構築した。
• SQuAD2.0およびNewsQAで事前学習された抽出型QAモデル（RoBERTa）を、手動でラベル付けされた答えの範囲が存在しないスクレイピングデータで微調整した。
• 同じデータセット上で生成型QAモデル（T5）を微調整し、元のテキストに存在しない新しい言い回しの応答を生成できるようにした。
• ROUGEおよびBERTscoreの指標を用いて、両モデルの定量的評価を実施。BERTscoreは、基準となる答えとの意味的類似度を測定した。
• 正解の範囲が欠落している状況でも、自己教師ありのスパン検出技術（例：spanBERT）を用いて、抽出型モデルの答えの範囲を近似的に特定した。
• テスト例の定性的分析を通じて、モデル出力の自然さ、事実の整合性、言い換えの正確さを評価した。

実験結果

リサーチクエスチョン

• RQ1 抽出型および生成型QAモデルは、ソーシャルフォーラムのユーザー生成の答えのみを用いて、クリックベイトの見出しに効果的に応答できるか？
• RQ2 ROUGEとBERTscoreの指標は、抽出型モデルと生成型モデルが生成する応答の質を評価する上で、どのように比較されるか？
• RQ3 ユーザー生成のクリックベイトのスパイラーを微調整対象にすることで、未知のクリックベイトの見出しに対するモデル性能が顕著に向上するか？
• RQ4 事実の整合性や自然さという観点から、抽出型モデルが生成型モデルを上回る状況と、逆に生成型モデルが優れる状況はそれぞれどのようなものか？
• RQ5 クリックベイトの見出しが曖昧、リスト形式、または意味的に曖昧な場合、両モデルの主な失敗モードは何か？

主な発見

• 抽出型（RoBERTa）および生成型（T5）の両モデルが、スクレイピングしたRedditおよびFacebookのデータで微調整した後、顕著な性能向上を示した。
• 抽出型モデルは、ROUGE-F1スコアが高かった（Redditで微調整したRoBERTa-SQuADでは47.20）。これは、スパンマッチングの正確性が優れていることを示している。
• 生成型モデルは、BERTscoreで抽出型モデルを上回った（例：RedditのRoBERTa-SQuADでは90.26 vs. 88.54）。これは、基準となる答えとの意味的類似度が高いことを示している。
• 生成型モデルは、より自然で文法的に正しい、言い換えられた応答を生成した一方、抽出型モデルは言い換えによる事実誤認を回避する点で一貫性に優れていた。
• 両モデルとも、リスト形式のクリックベイトの見出し（例：「10の理由で…」）や極めて曖昧な見出しでは苦戦し、答えが非連続なテキストセグメントにまたがる場合に問題を示した。
• ユーザー生成の答えにノイズや余分な情報が含まれていたことで、データ品質のばらつきが生じ、モデルの一般化性能および評価の信頼性に悪影響を与えた。