[论文解读] Customs Import Declaration Datasets

Chaeyoon Jeong, Sundong Kim+2 more|arXiv (Cornell University)|Aug 4, 2022

Imbalanced Data Classification Techniques被引用 6

一句话总结

本文提出一个包含54,000笔人工生成贸易记录的合成海关进口申报数据集，包含22个关键属性，通过条件表格生成对抗网络（conditional tabular GAN）生成，以保留特征相关性并确保隐私。该数据集可用于欺诈检测算法的基准测试，并促进海关机构与数据科学研究人员之间的合作，先进模型如LightGBM在合成数据上的精确率达到77.83%。

ABSTRACT

Given the huge volume of cross-border flows, effective and efficient control of trade becomes more crucial in protecting people and society from illicit trade. However, limited accessibility of the transaction-level trade datasets hinders the progress of open research, and lots of customs administrations have not benefited from the recent progress in data-based risk management. In this paper, we introduce an import declaration dataset to facilitate the collaboration between domain experts in customs administrations and researchers from diverse domains, such as data science and machine learning. The dataset contains 54,000 artificially generated trades with 22 key attributes, and it is synthesized with conditional tabular GAN while maintaining correlated features. Synthetic data has several advantages. First, releasing the dataset is free from restrictions that do not allow disclosing the original import data. The fabrication step minimizes the possible identity risk which may exist in trade statistics. Second, the published data follow a similar distribution to the source data so that it can be used in various downstream tasks. Hence, our dataset can be used as a benchmark for testing the performance of any classification algorithm. With the provision of data and its generation process, we open baseline codes for fraud detection tasks, as we empirically show that more advanced algorithms can better detect fraud.

研究动机与目标

• 为解决公开可用、符合隐私要求的贸易数据集缺乏的问题，以促进海关数据科学领域的开放研究。
• 通过发布一个真实、合成的数据集，模拟现实世界进口申报的分布，促进海关机构与数据科学研究人员之间的合作。
• 提供一个基准，用于评估欺诈检测算法，该数据集保留了关键的特征相关性与关系。
• 通过提供可访问的合成数据与数据生成技术，支持海关机构能力建设，尤其针对发展中国家。
• 证明先进机器学习模型在合成海关数据上的表现显著优于传统模型，验证其在研究与开发中的实用性。

提出的方法

• 使用条件表格生成对抗网络（conditional tabular GAN）生成合成数据，以保留真实海关数据的统计分布与特征间相关性。
• 应用事后处理技术，在确保隐私的同时维持数据的真实性，包括匿名化与标签操作。
• 从真实进口申报表中选取22个关键属性，包括申报编号（Declaration ID）、日期（Date）、办事处编号（Office ID）、流程类型（Process Type）、进口类型（Import Type）、进口用途（Import Use）以及HS6编码（HS6 Code）。
• 对所有合成记录进行标注，以模拟完全检查的数据集，同时可通过事后处理模拟部分标注的真实世界场景。
• 使用XGBoost及其他集成模型，在合成数据与真实数据上评估特征重要性与模型性能，以进行验证。
• 将数据集整合进教育工作坊与竞赛中，以促进其在海关与数据科学社群中的采纳与实际应用。

实验结果

研究问题

• RQ1 合成表格数据集能否在确保隐私的前提下，保留真实海关进口申报数据的统计结构与相关性？
• RQ2 在合成海关数据上训练的机器学习模型，在下游欺诈检测任务上的表现，与在真实数据上训练的模型相比如何？
• RQ3 在海关进口申报中，哪些特征最能预测欺诈行为？这些模式是否在合成数据集中得以保留？
• RQ4 合成数据在在多大程度上可作为评估与比较欺诈检测算法的可靠基准？
• RQ5 合成海关数据如何支持海关机构的能力建设与培训，特别是在发展中国家？

主要发现

• 使用LightGBM模型，合成数据集的精确率达到77.83%，与同一模型在真实数据上53.13%的精确率非常接近，表明性能评估具有高度保真度。
• 特征重要性分析显示，进口商编号（Importer ID）、商品价格（Item Price）、净重（Net Mass）、申报人编号（Declarant ID）和HS6编码（HS6 Code）在合成数据与真实数据中均为最突出的预测因子，证实关键关系得到良好保留。
• 先进模型如LightGBM与XGBoost在合成数据集上的表现优于传统模型（如逻辑回归与AdaBoost），其中LightGBM达到最高精确率77.83%。
• 合成数据与真实数据的特征重要性得分分布表现出强烈的相似趋势，验证了合成数据的代表性。
• 在世界海关组织（WCO）活动上举办的一场实践工作坊获得积极反馈，大多数参与者认为内容实用且具参考价值，表明其在现实世界中具有高度应用潜力。
• 该数据集已被用于大学竞赛与WCO培训项目，证明其在教育、算法原型设计与国际合作方面的实用性。