[논문 리뷰] KnowPhish: Large Language Models Meet Multimodal Knowledge Graphs for Enhancing Reference-Based Phishing Detection

Yuexin Li, C. F. Huang외 6명|arXiv (Cornell University)|2024. 03. 04.

Topic Modeling인용 수 7

한 줄 요약

KnowPhish는 대규모 다중모달 브랜드 지식 기반(KnowPhish)과 다중모달 탐지기(KnowPhish Detector, KPD)를 도입하여 로고와 텍스트를 결합해 참조 기반 피싱 탐지의 정확성을 높이며 로고가 없는 사례를 포함하고, 기존 RBPD에 플러그 앤 플레이로 통합됩니다.

ABSTRACT

Phishing attacks have inflicted substantial losses on individuals and businesses alike, necessitating the development of robust and efficient automated phishing detection approaches. Reference-based phishing detectors (RBPDs), which compare the logos on a target webpage to a known set of logos, have emerged as the state-of-the-art approach. However, a major limitation of existing RBPDs is that they rely on a manually constructed brand knowledge base, making it infeasible to scale to a large number of brands, which results in false negative errors due to the insufficient brand coverage of the knowledge base. To address this issue, we propose an automated knowledge collection pipeline, using which we collect a large-scale multimodal brand knowledge base, KnowPhish, containing 20k brands with rich information about each brand. KnowPhish can be used to boost the performance of existing RBPDs in a plug-and-play manner. A second limitation of existing RBPDs is that they solely rely on the image modality, ignoring useful textual information present in the webpage HTML. To utilize this textual information, we propose a Large Language Model (LLM)-based approach to extract brand information of webpages from text. Our resulting multimodal phishing detection approach, KnowPhish Detector (KPD), can detect phishing webpages with or without logos. We evaluate KnowPhish and KPD on a manually validated dataset, and a field study under Singapore's local context, showing substantial improvements in effectiveness and efficiency compared to state-of-the-art baselines.

연구 동기 및 목표

• 다수의 피싱 대상 범위를 커버하기 위해 대규모 다중모달 브랜드 지식 기반(KnowPhish)을 자동으로 구축한다.
• LLMs를 통해 로고가 없는 피싱 페이지를 다루기 위한 텍스트 기반 브랜드 의도 추출을 가능하게 한다.
• 이미지와 텍스트 신호를 결합하여 견고한 탐지를 구현하는 다중모달 참조 기반 피싱 탐지기(KPD)를 개발한다.
• 정제된 데이터셋과 현장 데이터셋에서 KnowPhish와 KPD를 평가하여 기준선보다 효과성과 효율성을 입증한다.
• 대적 HTML에 대한 강건성과 실제 맥락에서의 배치 실용성을 보여준다.

제안 방법

• Wikidata를 활용한 자동 브랜드 검색으로 로고, 도메인 및 별칭이 포함된 20k-brand 지식 기반을 구축한다.
• 레이아웃 탐지와 웹 검색을 통해 로고 변형 및 도메인 변형을 포함하는 지식 보강.
• 자회사 관계를 통한 도메인 전파로 합법적 도메인을 확장한다.
• LLM 기반의 웹페이지 요약과 명시적/암묵적 자격 필요 페이지를 포착하는 소형 언어 모델 CRP 탐지기를 도입한다.
• 로고가 감지되지 않을 때 LLM 요약을 사용하여 브랜드를 식별하는 텍스트 기반 브랜드 추출기를 도입한다.
• 웹페이지의 브랜드 의도가 존재하지만 도메인이 합법적이지 않은 경우 피싱을 표시하는 도메인 확인 단계를 포함한다.

실험 결과

연구 질문

• RQ1 RQ1: KnowPhish와 KPD가 최첨단 기준선에 비해 피싱 탐지의 효과성과 효율성을 향상시킬 수 있는가?
• RQ2 RQ2: 실제 현장 배치에서 KnowPhish와 KPD의 성능은 어떠한가?
• RQ3 RQ3: 텍스트 기반 CRP 분류기가 적대적 HTML 노이즈에 대해 얼마나 강건한가?
• RQ4 RQ4: KPD 구성요소의 애블레이션이 전체 성능에 어떤 영향을 미치는가?

주요 결과

• KnowPhish는 약 20k개의 잠재 피싱 타깃을 포함하는 대규모 다중모달 브랜드 지식 기반을 제공하여 기존 RBPD에 플러그 앤 플레이형 확장을 가능하게 한다.
• KPD는 이미지 기반 브랜드 추출과 텍스트 기반 브랜드 추출을 LLM 유도 HTML 요약과 결합하여 로고 유무에 상관없이 피싱 웹페이지를 탐지한다.
• KnowPhish와 KPD는 TR-OP 및 SG-SCAN 데이터셋에서 최첨단 기준선에 비해 효과성과 효율성에서 상당한 향상을 보인다.
• KPD는 이미지 기반 RBPD와 함께 사용할 때 DynaPhish와 같은 기존 배치 프레임워크보다 훨씬 빠르며(30배 이상).
• 해당 방법론은 현지 맥락(싱가포르 현장 연구)에서도 효과적이며 적대적 HTML 변형에 대한 강건성을 입증한다.