[論文レビュー] Customs Import Declaration Datasets

Chaeyoon Jeong, Sundong Kim+2 more|arXiv (Cornell University)|Aug 4, 2022

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本論文は、特徴間の相関関係を保持し、プライバシーを確保するために条件付きテーブルGANを用いて生成された、54,000件の人工的トレードを含む合成関税輸入申告データセットを紹介する。このデータセットは、不正検出アルゴリズムのベンチマーク評価を可能にし、関税当局とデータサイエンス研究者との協働を支援する。LightGBMなどの高度なモデルは、合成データ上で77.83%の精度を達成した。

ABSTRACT

Given the huge volume of cross-border flows, effective and efficient control of trade becomes more crucial in protecting people and society from illicit trade. However, limited accessibility of the transaction-level trade datasets hinders the progress of open research, and lots of customs administrations have not benefited from the recent progress in data-based risk management. In this paper, we introduce an import declaration dataset to facilitate the collaboration between domain experts in customs administrations and researchers from diverse domains, such as data science and machine learning. The dataset contains 54,000 artificially generated trades with 22 key attributes, and it is synthesized with conditional tabular GAN while maintaining correlated features. Synthetic data has several advantages. First, releasing the dataset is free from restrictions that do not allow disclosing the original import data. The fabrication step minimizes the possible identity risk which may exist in trade statistics. Second, the published data follow a similar distribution to the source data so that it can be used in various downstream tasks. Hence, our dataset can be used as a benchmark for testing the performance of any classification algorithm. With the provision of data and its generation process, we open baseline codes for fraud detection tasks, as we empirically show that more advanced algorithms can better detect fraud.

研究の動機と目的

• 公開利用可能なプライバシー準拠の貿易データセットが不足しており、これが関税データ科学分野のオープンリサーチを妨げているという問題に対処すること。
• 実世界の輸入申告分布を模倣したリアルな合成データセットを公開することで、関税当局とデータサイエンス研究者との協働を可能にすること。
• 重要な特徴間の相関関係や関係性を保持したデータセットを提供し、不正検出アルゴリズムの評価のためのベンチマークを提供すること。
• 特に発展途上国において、アクセス可能な合成データとデータ生成技術を通じて、関税当局における能力構築を支援すること。
• 高度な機械学習モデルが従来のモデルよりも合成関税データ上で顕著に優れた性能を発揮することを示し、研究開発におけるその有用性を検証すること。

提案手法

• 実際の関税データの統計的分布と特徴間相関関係を保持するため、条件付きテーブルGANを用いた合成データ生成。
• プライバシーを確保しながらデータの現実性を維持するための後処理技術を適用し、匿名化やラベル操作を含む。
• 実際の輸入申告書から選定された22の主要属性（Declaration ID、Date、Office ID、Process Type、Import Type、Import Use、HS6 Codeなど）を対象とした。
• 全合成レコードに完全に検査されたデータセットを模倣するラベルを付与し、後処理により部分的にラベルが付与された現実世界のシナリオを模倣可能にした。
• XGBoostおよびその他のアンサンブルモデルを用いて、合成データおよび実データの両方で特徴の重要度とモデル性能を評価し、妥当性を検証した。
• 教育ワークショップやコンペティションへのデータセットの統合を通じて、関税およびデータサイエンスコミュニティにおける採用と実践的応用を促進した。

実験結果

リサーチクエスチョン

• RQ1 合成テーブルデータセットは、プライバシーを確保しつつ、実際の関税輸入申告データの統計的構造および相関関係を保持できるか？
• RQ2 合成関税データで訓練された機械学習モデルは、実データで訓練されたモデルと比較して、下流の不正検出タスクでどの程度の性能を発揮するか？
• RQ3 関税輸入申告における不正の予測に最も寄与する特徴は何か？ また、これらのパターンは合成データセットにも保持されているか？
• RQ4 合成データが、不正検出アルゴリズムの評価および比較のための信頼できるベンチマークとしてどの程度有効に機能するか？
• RQ5 合成関税データは、特に発展途上国において、関税当局における能力構築およびトレーニングをどのように支援できるか？

主な発見

• LightGBMを用いた合成データでの精度は77.83%に達し、実データでの同じモデルの精度53.13%に近く、性能評価の忠実性が裏付けられた。
• 特徴の重要度分析の結果、Importer ID、Item Price、Net Mass、Declarant ID、HS6 Codeが合成データおよび実データの両方で一貫して上位の予測要因として現れ、重要な関係性の保持が確認された。
• LightGBM や XGBoost などの高度なモデルは、ロジスティック回帰 や AdaBoost といった従来のモデルよりも合成データ上で優れた性能を発揮し、LightGBM が最高の精度77.83%を達成した。
• 合成データと実データの間で特徴の重要度スコアの分布に強い類似傾向が認められ、合成データの代表性が裏付けられた。
• WCOイベントでの実地ワークショップでは参加者から高いフィードバックが得られ、大多数の回答者が内容が実用的で役立つと評価した。これは、実世界への実用的採用の可能性が非常に高いことを示している。
• このデータセットはすでに大学のコンペティションやWCOのトレーニングプログラムで使用されており、教育、アルゴリズムプロトタイピング、国際的協働の分野での実用性が実証された。