[論文レビュー] KnowPhish: Large Language Models Meet Multimodal Knowledge Graphs for Enhancing Reference-Based Phishing Detection

Yuexin Li, C. F. Huang+6 more|arXiv (Cornell University)|Mar 4, 2024

Topic Modeling被引用数 7

ひとこと要約

KnowPhishは、大規模なマルチモーダルブランド知識ベース（KnowPhish）とマルチモーダル検出器（KnowPhish Detector, KPD）を導入し、ロゴとテキストを組み合わせて参照ベースのフィッシング検出を改善します。ロゴがないケースも含め、既存のRBPDへプラグアンドプレイで統合可能です。

ABSTRACT

Phishing attacks have inflicted substantial losses on individuals and businesses alike, necessitating the development of robust and efficient automated phishing detection approaches. Reference-based phishing detectors (RBPDs), which compare the logos on a target webpage to a known set of logos, have emerged as the state-of-the-art approach. However, a major limitation of existing RBPDs is that they rely on a manually constructed brand knowledge base, making it infeasible to scale to a large number of brands, which results in false negative errors due to the insufficient brand coverage of the knowledge base. To address this issue, we propose an automated knowledge collection pipeline, using which we collect a large-scale multimodal brand knowledge base, KnowPhish, containing 20k brands with rich information about each brand. KnowPhish can be used to boost the performance of existing RBPDs in a plug-and-play manner. A second limitation of existing RBPDs is that they solely rely on the image modality, ignoring useful textual information present in the webpage HTML. To utilize this textual information, we propose a Large Language Model (LLM)-based approach to extract brand information of webpages from text. Our resulting multimodal phishing detection approach, KnowPhish Detector (KPD), can detect phishing webpages with or without logos. We evaluate KnowPhish and KPD on a manually validated dataset, and a field study under Singapore's local context, showing substantial improvements in effectiveness and efficiency compared to state-of-the-art baselines.

研究の動機と目的

• 多くのフィッシング対象をカバーする大規模なマルチモーダルブランド知識ベース（KnowPhish）の構築を自動化する。
• LLMsを用いてロゴレスのフィッシングページに対処するためのテキストベースのブランド意図抽出を可能にする。
• 画像とテキスト信号を組み合わせて堅牢な検出を実現するマルチモーダル参照ベースのフィッシング検出器（KPD）を開発する。
• キュレーション済みデータセットと現場データセットでKnowPhishとKPDを評価し、ベースラインより有効性と効率性を示す。
• 対向的HTMLノイズに対する堅牢性と実世界環境での導入実用性を示す。

提案手法

• Wikidataを活用した自動ブランド検索により、ロゴ、ドメイン、別名を含む20k-brand知識ベースを構築する。
• レイアウト検出とウェブ検索を通じてロゴのバリアントやドメインのバリアントを含む知識拡張。
• 子会社関係によるドメイン伝播で正当なドメインを広げる。
• LLMベースのウェブページ要約と小規模言語モデルCRP検出器を用い、明示的および暗黙的な資格要求ページの両方を捉える。
• ロゴが検出されない場合にLLM要約を用いてブランドを特定するテキストベースのブランド抽出器。
• ウェブページのブランド意図が存在するがドメインが正当でない場合にフィッシングを示すドメイン検証ステップ。

実験結果

リサーチクエスチョン

• RQ1 KnowPhishとKPDは最新のベースラインと比較してフィッシング検知の有効性と効率を改善できるか？
• RQ2 KnowPhishとKPDは現実世界の現場展開でどのような性能を示すか？
• RQ3 テキストベースCRP分類器は敵対的HTMLノイズに対してどれだけ堅牢か？
• RQ4 KPDコンポーネントのアブレーションは全体性能にどのように影響するか？

主な発見

• KnowPhishは約20kの潜在的なフィッシングターゲットを含む大規模なマルチモーダルブランド知識ベースを提供し、既存のRBPDへプラグアンドプレイでの強化を可能にする。
• KPDは画像ベースとテキストベースのブランド抽出をLLM由来のHTML要約と組み合わせることで、ロゴの有無にかかわらずフィッシングウェブページを検出する。
• KnowPhishとKPDはTR-OPおよびSG-SCANデータセットで最先端ベースラインより有効性と効率性の著しい改善を示す。
• KPDは、画像ベースのRBPDと組み合わせた場合、DynaPhishのような従来のデプロイメントフレームワークより著しく高速で（30倍以上）である。
• このアプローチは現地コンテキスト（シンガポールの現地調査）でも有効であり、対向的HTMLの変化に対して堅牢性を示す。