[論文レビュー] Web-based Application for Detecting Indonesian Clickbait Headlines using IndoBERT

Muhammad Noor Fakhruzzaman, Sie Wildan Gunawan|arXiv (Cornell University)|Feb 21, 2021

Spam and Phishing Detection参考文献 14被引用数 7

ひとこと要約

本論文は、クラウドサーバー上でホストされたRESTful APIを活用し、最小限のクライント側リソースでリアルタイム予測を可能にする、インドネシア語のニュース見出しのための軽量でウェブベースのクリックベイト検出アプリケーションを提案する。このシステムは平均ROC-AUC 89%を達成し、誤情報の拡散を抑えるとともにインドネシアにおけるデジタルリテラシーの向上に実用的でアクセスしやすいツールを提供する。

ABSTRACT

With increasing usage of clickbaits in Indonesian Online News, newsworthy articles sometimes get buried among clickbaity news. A reliable and lightweight tool is needed to detect such clickbaits on-the-go. Leveraging state-of-the-art natural language processing model BERT, a RESTful API based application is developed. This study offloaded the computing resources needed to train the model on the cloud server, while the client-side application only needs to send a request to the API and the cloud server will handle the rest. This study proposed the design and developed a web-based application to detect clickbait in Indonesian using IndoBERT as a language model. The application usage is discussed and available for public use with a performance of mean ROC-AUC of 89%.

研究の動機と目的

• インドネシアのオンラインニュースにおけるクリックベイト見出しの増加という問題に対処し、読者を誤解させるおそれがあり、デジタル格差を助長する要因となること。
• 技術的専門知識や高コストな計算リソースを必要とせず、誰もがクリックベイトを検出できる軽量でアクセスしやすいツールを開発すること。
• 学術的なクリックベイト検出研究と実用的応用の間のギャップを埋めるために、機能的で公開可能なウェブベースのシステムを提供すること。
• ユーザーフレンドリーなツールを提供することで、インドネシアにおけるデジタルリテラシーを向上させ、読者がクリックベイトと正当なニュース見出しを区別できるようにすること。
• より効率的な言語モデル（IndoBERT Lite Base）を採用することで、強力な予測性能を維持しながらも、サーバーのコストとメモリ使用量を削減すること。

提案手法

• Flaskを用いて構築されたRESTful APIアーキテクチャを採用し、スケーラビリティとセキュリティを確保するため、DigitalOceanのドロップレットにGunicornとNginx（リバースプロキシ）を用いてデプロイした。
• コアモデルは、12層で約1170万パラメータを持つ、マルチリンガルBERTの蒸留版であるIndoBERT Lite Baseであり、バランスの取れた6,000件のインドネシア語見出しのアノテート済みデータセットで微調整された。
• 予測は、/predictエンドポイントへのPOSTリクエストにより行われ、入力テキストを処理し、JSON形式でクリックベイトまたは非クリックベイトの二値分類結果を返す。
• 予測に対するユーザーのフィードバックは、将来的な再訓練を可能にするためにMySQLデータベースに収集・保存され、モデルの頑健性が時間経過とともに向上する。
• スパムやDoS攻撃を防ぐために、バックエンドで1分間に2回までのレート制限を実装し、HTTPSを用いたセキュリティ対策を講じた。
• フロントエンドはGitHub Pagesにホスティングされ、HTTPSを介してバックエンドAPIと通信することで、ローカルでのモデルデプロイが不要なシームレスなクライント側インタラクションを実現した。

実験結果

リサーチクエスチョン

• RQ1 軽量でクラウドホスティングされたNLPアプリケーションは、高い精度と低リソース消費量を実現しながら、インドネシア語のクリックベイト見出しを効果的に検出できるか？
• RQ2 マルチリンガルBERTのような大規模モデルと比較して、インドネシア語のクリックベイト検出においてIndoBERT Lite Baseの性能はどの程度か？
• RQ3 公開可能なウェブアプリケーションは、デジタルリテラシーの向上にどの程度貢献し、ユーザーが誤解を招くニュース見出しを特定するのを支援できるか？
• RQ4 ユーザーのフィードバック収集は、クリックベイト検出モデルの長期的信頼性および再訓練可能性にどのような影響を与えるか？
• RQ5 RESTful APIアーキテクチャは、ブラウザ拡張機能やメディアダッシュボードなどの将来的なツールとの統合をどのように容易にできるか？

主な発見

• ウェブベースのアプリケーションは平均ROC-AUCスコア89%を達成し、インドネシア語のクリックベイト見出しと非クリックベイト見出しを効果的に区別できることを示した。
• マルチリンガルBERTからIndoBERT Lite Baseに切り替えることで、メモリ使用量が約800MB削減され、サーバーのリソース要件と運用コストが顕著に低下した。
• 性能の妥協はあったものの、より軽量なモデルは依然として高い予測能力を維持しており、IndoBERT Lite BaseモデルではF1スコア平均が85%を記録した。
• システムはユーザーのフィードバックをMySQLデータベースに統合し、実世界の予測に基づいた将来的な再訓練とモデル改善を可能にした。
• アプリケーションはhttps://ruzcmc.github.io/ClickbaitIndo-textclassifierで公開されており、GitHubにソースコード、モデル、データセットがすべて公開されている。
• HTTPSの利用、レート制限、セキュアなAPI設計により、スパムや不正アクセスに対する保護が実現され、システムの信頼性とセキュリティが向上した。