[論文レビュー] A Novel Way of Identifying Cyber Predators

Dan Liu, Ching Y. Suen+1 more|arXiv (Cornell University)|Dec 11, 2017

Advanced Malware Detection Techniques参考文献 3被引用数 17

ひとこと要約

本論文は、LSTM-RNN言語モデル、文ベクトル表現、FastTextセンチメント分析を組み合わせた新しい深層学習アプローチを提案し、オンライン会話におけるサイバー予データーを特定する。LSTMが生成する文ベクトルとセンチメントスコアを活用することで、100%の精度と81.10%の再現率を達成し、SPIコンペティションの最良結果を上回り、テキストシーケンスにおける懸念される行動の検出において高い正確性を示した。

ABSTRACT

Recurrent Neural Networks with Long Short-Term Memory cell (LSTM-RNN) have impressive ability in sequence data processing, particularly for language model building and text classification. This research proposes the combination of sentiment analysis, new approach of sentence vectors and LSTM-RNN as a novel way for Sexual Predator Identification (SPI). LSTM-RNN language model is applied to generate sentence vectors which are the last hidden states in the language model. Sentence vectors are fed into another LSTM-RNN classifier, so as to capture suspicious conversations. Hidden state enables to generate vectors for sentences never seen before. Fasttext is used to filter the contents of conversations and generate a sentiment score so as to identify potential predators. The experiment achieves a record-breaking accuracy and precision of 100% with recall of 81.10%, exceeding the top-ranked result in the SPI competition.

研究の動機と目的

• リアルタイムのテキスト会話においてオンラインでの性的予データーを特定する課題に対処すること。
• 性的予データー特定（SPI）コンペティションにおける既存手法を上回る検出精度と正確性を向上させること。
• 未観測の予データー会話パターンにも一般化可能な、堅牢でシーケンスに配慮したモデルを開発すること。
• センチメント分析と文レベルの埋め込みを統合し、ユーザーの行動プロファイルを強化すること。
• スケーラブルで自動化された不審なオンライン相互作用の特定を実現するため、深層学習を活用すること。

提案手法

• LSTM-RNNを用いて、言語モデルの最終隠れ状態として文ベクトルを生成し、逐次的文脈を捉える。
• 学習されたこれらの文ベクトルを、2番目のLSTM-RNN分類器の入力として使用し、不審な会話パターンを検出する。
• FastTextを用いて会話内容を分析し、感情スコアを計算することで、感情的に操作的または予データー的な言語を特定する。
• センチメントスコアとLSTMが生成する文表現を組み合わせることで、検出感度を向上させる。
• 会話シーケンス上でエンドツーエンドのモデルを学習し、予データー行動の特徴を判別的に学習する。
• 新しい未観測の文に対して、LSTM-RNNの最終隠れ状態を固定長のベクトル表現として利用する。

実験結果

リサーチクエスチョン

• RQ1 LSTM-RNNとFastTextを組み合わせたハイブリッド深層学習モデルは、オンライン会話におけるサイバー予データーの検出を改善できるか？
• RQ2 LSTM-RNNによる文レベルの埋め込みは、逐次的テキストデータにおける予データー行動の特定をどの程度向上できるか？
• RQ3 センチメント分析とニューラルシーケンスモデリングを統合することで、サイバー予データー検出における正確性と再現率にどのような影響を与えるか？
• RQ4 本モデルは、高精度を維持したまま未観測の会話に一般化できるか？
• RQ5 本手法は、SPIコンペティションにおける最先端の手法を上回るか？

主な発見

• 提案手法は、テストセットにおいて偽陽性が一切ない100%の精度を達成した。
• モデルは81.10%の再現率を記録し、実際の予データー関与の80%以上を効果的に検出できた。
• モデルはSPIコンペティションの上位結果を上回り、このタスクにおける正確性と正確性の新基準を確立した。
• LSTMが生成する文ベクトルの使用により、未観測の文の効果的な表現が可能となり、一般化が可能になった。
• FastTextによるセンチメント分析は、予データー行動に共通する感情的に操作的な言語パターンの特定に貢献した。
• シーケンスモデリングとセンチメント分析の組み合わせにより、ベースライン手法に比べて検出性能が顕著に向上した。