[論文レビュー] Deep Reinforcement Learning for Detecting Malicious Websites

Moitrayee Chatterjee, Akbar Siami Namin|arXiv (Cornell University)|May 22, 2019

Spam and Phishing Detection参考文献 12被引用数 12

ひとこと要約

本論文では、URL分類を逐次的意思決定問題として扱うことで、悪意あるウェブサイトを検出するための深層強化学習（DRL）モデルを提案している。URLから抽出した14の語彙的特徴を用い、深層Qネットワーク（DQN）が変化するフィッシングパターンに動的に学習・適応する。73,575件のURLから成るバランスの取れたデータセット上で、90.1%の正確性、88%の再現率、87.3%のF-measureを達成した。

ABSTRACT

Phishing is the simplest form of cybercrime with the objective of baiting people into giving away delicate information such as individually recognizable data, banking and credit card details, or even credentials and passwords. This type of simple yet most effective cyber-attack is usually launched through emails, phone calls, or instant messages. The credential or private data stolen are then used to get access to critical records of the victims and can result in extensive fraud and monetary loss. Hence, sending malicious messages to victims is a stepping stone of the phishing procedure. A extit{phisher} usually setups a deceptive website, where the victims are conned into entering credentials and sensitive information. It is therefore important to detect these types of malicious websites before causing any harmful damages to victims. Inspired by the evolving nature of the phishing websites, this paper introduces a novel approach based on deep reinforcement learning to model and detect malicious URLs. The proposed model is capable of adapting to the dynamic behavior of the phishing websites and thus learn the features associated with phishing website detection.

研究の動機と目的

• 進化するURL構造から学習できる自己適応的で動的なフィッシング検出システムの開発。
• 静的ブラックリストやヒューリスティックベースの手法の限界を克服するため、強化学習フレームワークを導入すること。
• 正当および悪意あるURLがバランスよく含まれるデータセットを用いて、深層Qネットワーク（DQN）モデルのURL分類性能を評価すること。
• DRLにおける逐次的意思決定を、二値のフィッシング検出タスクに適用可能かどうかを検討すること。
• 従来の機械学習手法を超える、強固でスケーラブルかつ適応可能なフィッシング検出フレームワークの基盤を構築すること。

提案手法

• モデルは深層Qネットワーク（DQN）を用い、URL入力シーケンスを行動価値にマッピングする。ここで行動とは、フィッシングまたは健全なURLとしての分類を表す。
• 14の語彙的特徴（文字頻度、ドメイン長、特殊文字の使用など）を各URLから抽出し、状態表現を構築する。
• 正しく分類された場合にのみ与えられるスパarsな報酬に基づき、環境との相互作用を通じて学習を行う。トレーニングの安定化のため、リプレイメモリバッファを用いる。
• Q値関数は、パラメータθを有する深層ニューラルネットワークで近似され、Adam最適化手法を用いた確率的勾配降下法により更新される。
• 学習の安定化のため、ターゲットQ値の計算をオンラインネットワークとは分離するターゲットネットワークを用いる。
• トレーニングプロセスは、学習中の探索と活用のバランスを取るために、ε-greedy探索戦略に従う。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、フィッシングURLの分類に向けた逐次的意思決定プロセスを効果的にモデル化できるか？
• RQ2 DRLベースの分類器は、悪意あるウェブサイト検出において、従来の機械学習手法と比較してどのように性能を発揮するか？
• RQ3 DRLモデルは、語彙的特徴のみを用いても、フィッシングURLパターンの動的な変化にどの程度適応できるか？
• RQ4 探索率（ε）や報酬形状の調整といったハイパーパrameterが、モデルの収束性および分類正確性にどのように影響を与えるか？
• RQ5 DRLフレームワークは、ホストベースやコンテンツベースの属性といった追加特徴を統合することで、さらなる検出性能向上が可能か？

主な発見

• 提案されたDRLモデルは、Ebbu2017データセットで90.1%の正確性を達成し、73,575件のURLから成るバランスの取れたデータセットにおける強力な一般化性能を示した。
• 再現率は88%であり、実際に存在するフィッシングURLの88%を正しく特定できたことを示しており、偽陰性の最小化に重要である。
• F-measureは87.3%に達し、精度と再現率のバランスの取れた妥当性を示しており、モデルの頑健性と信頼性を裏付けた。
• 精度は86.7%であり、悪意あると分類されたURLのうち86.7%が実際にフィッシング攻撃であったことを示している。
• 特に新規に作成されたまたは進化を遂げるフィッシングURLの検出において、ベースラインの機械学習手法よりも優れた動的適応性能を示した。
• 本研究では報酬関数のチューニングが行われなかったため、今後の研究で最適化された報酬形状による性能向上の余地がある。