[論文レビュー] Scraping and Preprocessing Commercial Auction Data for Fraud Classification

Ahmad A. Alzahrani, Samira Sadaoui|arXiv (Cornell University)|Jun 2, 2018

Auction Theory and Applications参考文献 9被引用数 11

ひとこと要約

本論文は、実際のeBayオークションにおけるiPhone 7の落札データをWebスクレイピングと厳密な前処理を用いて得られた大規模かつ高品質なシャドウバイディング（SB）パターンのデータセットを提示する。8種類のSB検出パターンを適用して不審な入札者を特定し、合計6,321件のラベル付きインスタンスを取得。機械学習モデルを用いたオークション詐欺対策のための、公開可能で本物のデータセットを提供する。

ABSTRACT

In the last three decades, we have seen a significant increase in trading goods and services through online auctions. However, this business created an attractive environment for malicious moneymakers who can commit different types of fraud activities, such as Shill Bidding (SB). The latter is predominant across many auctions but this type of fraud is difficult to detect due to its similarity to normal bidding behaviour. The unavailability of SB datasets makes the development of SB detection and classification models burdensome. Furthermore, to implement efficient SB detection models, we should produce SB data from actual auctions of commercial sites. In this study, we first scraped a large number of eBay auctions of a popular product. After preprocessing the raw auction data, we build a high-quality SB dataset based on the most reliable SB strategies. The aim of our research is to share the preprocessed auction dataset as well as the SB training (unlabelled) dataset, thereby researchers can apply various machine learning techniques by using authentic data of auctions and fraud.

研究の動機と目的

• 機械学習モデルのトレーニングに用いるための、本物でラベル付きのシャドウバイディング（SB）データセットの不足を是正すること。
• eBayなどの商業プラットフォームから生のオークションデータを抽出・クリーニング・前処理する再現可能なパイプラインの開発。
• 入札シーケンスから導出された8種類の異なる行動パターンを用いて、シャドウバイディング行動を特定・定量化すること。
• 本物のオークションデータに基づいて、ラベル付きインスタンスを含む信頼性の高い高品質なSBトレーニングデータセットを生成し、強固な詐欺分類研究を可能にすること。
• 今後の研究を支援するため、前処理済みデータセットとSBパターンを学術的および産業的応用のために公開すること。

提案手法

• iPhone 7sのオークション807件を自動スクリプトを用いてWebスクレイピングし、オークションおよび入札レベルのデータを抽出する。
• 入札タイミング、入札比率、オークションの開始価格などの属性を正規化するため、生のオークションデータの前処理を行う。
• 8種類のシャドウバイディング検出パターン（入札者傾向、早期入札、入札比率、最終入札、オークション開始価格、連続的超過入札、勝利比率、オークション入札数）の定義と計算。
• パターンスコアを[0, 1]の範囲にスケーリングする正規化関数を適用し、一貫性を確保するとともに、非アクティブユーザーによるバイアスを排除する。
• 各入札者-オークションペアごとにパターンスコアを集約し、10次元の特徴ベクトル（オークションID、入札者ID、および8つのパターンスコア）を各インスタンスとして構築する。
• 外れ値のチェックと[0, 1]の範囲内にすべての値が収束していることを確認することで、データの整合性を検証した。

実験結果

リサーチクエスチョン

• RQ1 オンラインオークションにおいて、正当な入札者とシャドウバイダーを区別するのに最も信頼性の高い行動パターンは何か？
• RQ2 実世界のオークションデータをどのように体系的にスクレイピング・前処理すれば、高忠実度の詐欺検出データセットを構築できるか？
• RQ3 初期入札、連続的超過入札、最終段階での入札といった一般的なシャドウバイディング行動が、実際の商業オークションでどの程度発生しているか？
• RQ4 大規模で公開可能な本物のオークション行動データセットを構築し、機械学習ベースの詐欺検出研究を支援できるか？
• RQ5 実世界のSBデータセットにおいて、通常の入札行動と不審な入札行動の不均衡をどのように是正すれば、効果的なモデルトレーニングが可能になるか？

主な発見

• 最終的なSBデータセットには、807件のオークションにまたがる6,321件のインスタンスが含まれており、1,054人の異なる入札者IDを含む。これは、多様で包括的な入札行動のサンプルを示している。
• 26.25％の入札者が勝利せずに攻撃的な超過入札行動を示しており、これはシャドウバイディング活動の強い証拠である。
• 46.6％の入札者が低価格のオークションに参加しており、競争入札を誘発させる戦略的価格設定の兆候である。
• 31.26％の入札者がオークションの最終段階まで非活動状態を維持しており、これは最終段階での入札操作と一致する行動である。
• 31.13％の入札者が連続的超過入札を示しており、複数回にわたり攻撃的に入札額を引き上げており、シャドウバイディングの主要な兆候である。
• 正規化されたパターンスコアに外れ値は認められず、前処理後のデータ品質と信頼性が確認された。