[論文レビュー] Federated Hierarchical Hybrid Networks for Clickbait Detection

Feng Liao, Hankz Hankui Zhuo+2 more|arXiv (Cornell University)|Jun 3, 2019

Misinformation and Its Impacts参考文献 15被引用数 5

ひとこと要約

本稿では、プライバシー制約がある現実世界の設定において、異なる機関が保持するタイトルとコンテンツの両方を用いて、生データを共有せずにクリックバイト検出モデルを共同で学習する、フェデレーテッドハイアラルヒカルハイブリッドネットワーク（FedHHN）というフェデレーテッドラーニングフレームワークを提案する。タイトルとコンテンツの階層的関係をハイブリッドニューラルアーキテクチャで活用することで、SOTAの性能を達成し、AUC-ROCは0.66835、F1スコアは0.52898を記録した。これは、理想の中央集権的学習環境で訓練されたモデルとほぼ同等の性能である。

ABSTRACT

Online media outlets adopt clickbait techniques to lure readers to click on articles in a bid to expand their reach and subsequently increase revenue through ad monetization. As the adverse effects of clickbait attract more and more attention, researchers have started to explore machine learning techniques to automatically detect clickbaits. Previous work on clickbait detection assumes that all the training data is available locally during training. In many real-world applications, however, training data is generally distributedly stored by different parties (e.g., different parties maintain data with different feature spaces), and the parties cannot share their data with each other due to data privacy issues. It is challenging to build models of high-quality federally for detecting clickbaits effectively without data sharing. In this paper, we propose a federated training framework, which is called federated hierarchical hybrid networks, to build clickbait detection models, where the titles and contents are stored by different parties, whose relationships must be exploited for clickbait detection. We empirically demonstrate that our approach is effective by comparing our approach to the state-of-the-art approaches using datasets from social media.

研究の動機と目的

• プライバシー制約により、トレーニングデータが複数の機関に分散している現実世界の設定において、クリックバイト検出の課題に対処すること。
• データスロットのため実務的に不実行な中央集権的データに依存する従来のモデルの限界を克服すること。
• データ共有を要件とせず、異なるソースからのタイトルとコンテンツの特徴を効果的に活用するフェデレーテッドラーニングフレームワークを構築すること。
• 誤解を招くまたは曖昧な見出しを特定するために不可欠な、タイトルと対応する記事コンテンツの意味的つながりをモデル化することで、クリックバイト検出を向上させること。
• データが非共有かつ機関間で分散している状況でも、中央集権的学習に匹敵する性能を達成できる、階層的ハイブリッドネットワークを用いたフェデレーテッド学習が可能であることを実証すること。

提案手法

• 生データを共有せずに、2つの機関（例：タイトル保持者とコンテンツ保持者）間でモデル学習が可能な、クリックバイトフェデレーテッドラーニングと呼ばれるフェデレーテッドトレーニングフレームワークを提案する。
• タイトルとコンテンツの局所的特徴およびそれらの複雑な相関関係を注意メカニズムと特徴表現の連結を用いて捉える、ハイアラルヒカルハイブリッドネットワーク（HHN）を設計する。
• データプライバシーを保ちながら、両方の機関からのモデル更新をフェデレーテッド平均化（FedAvg）戦略で集約する。
• TextCNN、TextRNN、FastTextなどのアーキテクチャを用いて、タイトルとコンテンツのエンコーダーを別々に学習し、階層的に表現を統合する。
• 統合された表現に共通の分類器ヘッドを適用し、クリックバイトラベルを予測する。損失はフェデレーテッドラーニングパイプラインに逆伝播される。
• 異なるローカルモデルアーキテクチャ（例：異なるエンコーダー）を許容しつつも、統一されたグローバルモデルを維持することで、機関間でのモデル互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 タイトルとコンテンツが協力しない別々の機関に分散保存されている状況において、フェデレーテッドラーニングフレームワークがクリックバイト検出モデルを効果的に学習できるか？
• RQ2 タイトルとコンテンツの意味的つながりをモデル化することで、それらを独立して扱う場合と比較して、クリックバイト検出性能がどの程度向上するか？
• RQ3 データ島制約下で学習されたフェデレーテッドモデルは、完全なデータアクセスが可能な中央集権的モデルにどの程度近い性能を達成できるか？
• RQ4 タイトルとコンテンツの表現を階層的に統合することで、単純な連結や独立したモデル化よりも検出性能が向上するか？
• RQ5 提案されたフェデレーテッドフレームワークは、タイトルとコンテンツエンコーダーに異なるニューラルネットワークアーキテクチャを適用しても一般化可能か？

主な発見

• FedHHNはAUC-ROC 0.66835、F1スコア0.52898を達成し、すべてのベースラインフェデレーテッドモデルを上回り、一部の中央集権的学習モデルをも凌駕した。
• フェデレーテッド環境で学習されたモデル（FedHHN）は、理想の中央集権的モデル（HHN）とほぼ同一の性能を示し、AUC-ROC差は僅か0.00389、F1スコア差は0.00257にとどまった。
• タイトル単体がコンテンツ単体よりもクリックバイト検出においてより情報量が多いことが判明した。例えば、TextCNN(𝒯)で学習したモデルは、TextCNN(𝑪)で学習したモデルを上回った。
• タイトルとコンテンツの両方の特徴を組み込むことで性能が顕著に向上した。これは、誤解を招く見出しを特定する上で、タイトルとコンテンツの関係性が不可欠であることを確認するものである。
• クリックバイトフェデレーテッドラーニングは、データが共有されない機関間での有効な協働を可能にし、プライバシー制約を守りながら高いモデル品質を達成した。
• FedHHNはFedCNN、FedRNN、FedSANといった他のフェデレーテッドモデルと比較して優れた性能を示し、クロスモーダル依存関係を捉えるために階層的ハイブリッドアーキテクチャが有効であることを示した。