[논문 리뷰] Customs Import Declaration Datasets

Chaeyoon Jeong, Sundong Kim외 2명|arXiv (Cornell University)|2022. 08. 04.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 54,000건의 인위적으로 생성된 무역 거래와 22개의 핵심 속성을 포함한 합성 세관 수입신고 데이터셋을 소개한다. 이 데이터셋은 기능 상관관계를 유지하고 개인정보를 보호하기 위해 조건부 테이블형 GAN을 사용하여 생성되었으며, 사기 탐지 알고리즘의 벤치마킹과 세관 관계자 및 데이터 과학 연구자 간의 협업을 가능하게 한다. 라이트GBM과 같은 고급 모델은 합성 데이터에서 77.83%의 정밀도를 기록하였다.

ABSTRACT

Given the huge volume of cross-border flows, effective and efficient control of trade becomes more crucial in protecting people and society from illicit trade. However, limited accessibility of the transaction-level trade datasets hinders the progress of open research, and lots of customs administrations have not benefited from the recent progress in data-based risk management. In this paper, we introduce an import declaration dataset to facilitate the collaboration between domain experts in customs administrations and researchers from diverse domains, such as data science and machine learning. The dataset contains 54,000 artificially generated trades with 22 key attributes, and it is synthesized with conditional tabular GAN while maintaining correlated features. Synthetic data has several advantages. First, releasing the dataset is free from restrictions that do not allow disclosing the original import data. The fabrication step minimizes the possible identity risk which may exist in trade statistics. Second, the published data follow a similar distribution to the source data so that it can be used in various downstream tasks. Hence, our dataset can be used as a benchmark for testing the performance of any classification algorithm. With the provision of data and its generation process, we open baseline codes for fraud detection tasks, as we empirically show that more advanced algorithms can better detect fraud.

연구 동기 및 목표

• 공개적으로 이용 가능한, 개인정보를 준수하는 무역 데이터셋의 부족으로 인해 세관 데이터 과학 분야의 개방형 연구가 저해되는 문제를 해결하기 위해.
• 실제 세계의 수입신고 분포를 반영한 현실적인 합성 데이터셋을 공개하여 세관 관계자와 데이터 과학 연구자 간의 협업을 가능하게 하기 위해.
• 핵심 기능 상관관계와 관계를 유지하는 데이터셋을 제공함으로써 사기 탐지 알고리즘 평가를 위한 기준을 마련하기 위해.
• 특히 개발도상국을 중심으로 세관 기관의 역량 강화를 지원하기 위해 접근 가능한 합성 데이터와 데이터 생성 기법을 제공하기 위해.
• 고급 기계학습 모델이 전통적 모델보다 합성 세관 데이터에서 유의미하게 더 뛰어난 성능을 보임을 입증함으로써, 합성 데이터의 연구 및 개발 분야에서의 유용성을 검증하기 위해.

제안 방법

• 실제 세관 데이터의 통계적 분포와 기능 간 상관관계를 유지하기 위해 조건부 테이블형 GAN을 사용한 합성 데이터 생성.
• 실제성 유지와 동시에 개인정보 보호를 위해 익명화 및 레이블 조작을 포함한 후처리 기법 적용.
• 실제 수입신고 양식에서 선별한 22개의 핵심 속성, 예를 들어 신고 ID, 날짜, 사무소 ID, 처리 유형, 수입 유형, 수입 목적, HS6 코드 포함.
• 모든 합성 레코드에 완전 검사된 데이터셋을 시뮬레이션하는 레이블링을 적용하였으며, 부분적으로 레이블이 지정된 실제 세계 시나리오를 시뮬레이션하기 위해 후처리가 가능하도록 설계.
• 검증을 위해 합성 데이터 및 실데이터 양쪽에서 특성 중요도와 모델 성능 평가를 위해 XGBoost 및 기타 앙상블 모델 사용.
• 교육 워크숍 및 경진대회에 데이터셋 통합을 통해 세관 및 데이터 과학 공동체 내에서의 도입과 실용적 적용을 촉진하기 위해.

실험 결과

연구 질문

• RQ1 합성 테이블형 데이터셋은 개인정보 보호를 확보하면서도 실제 세관 수입신고 데이터의 통계적 구조와 상관관계를 유지할 수 있는가?
• RQ2 합성 세관 데이터로 훈련된 기계학습 모델이 실데이터로 훈련된 모델에 비해 후속 사기 탐지 작업에서 얼마나 잘 성능을 내는가?
• RQ3 세관 수입신고에서 사기 예측에 가장 유용한 특성들은 무엇이며, 이러한 패턴은 합성 데이터셋에서도 유지되는가?
• RQ4 합성 데이터가 사기 탐지 알고리즘 평가 및 비교를 위한 신뢰할 수 있는 기준으로서 어느 정도 활용될 수 있는가?
• RQ5 합성 세관 데이터는 특히 개발도상국에서 세관 기관의 역량 강화 및 교육에 어떻게 기여할 수 있는가?

주요 결과

• 라이트GBM을 사용한 합성 데이터셋에서 정밀도가 77.83%를 기록하였으며, 실데이터에서 동일한 모델이 기록한 53.13%와 유사한 성능을 보여, 성능 평가의 높은 유사성(정밀도)을 입증하였다.
• 특성 중요도 분석 결과, 수입업자 ID, 품목 가격, 순중량, 신고자 ID, HS6 코드가 합성 데이터 및 실데이터 양쪽에서 일관되게 상위 예측 변수로 나타나, 핵심 관계의 유지가 확인되었다.
• 라이트GBM과 XGBoost와 같은 고급 모델이 로지스틱 회귀 및 아다부스트와 같은 전통적 모델보다 합성 데이터셋에서 더 뛰어난 성능을 보였으며, 라이트GBM이 최고의 정밀도 77.83%를 기록하였다.
• 합성 데이터와 실데이터 간의 특성 중요도 점수 분포는 강력한 유사 추세를 보이며, 합성 데이터의 대표성(대리성)을 검증하였다.
• WCO 행사에서 진행된 실습 워크숍은 참가자들로부터 높은 평가를 받았으며, 대부분의 응답자가 내용이 실용적이고 유용하다고 평가하여 실제 적용 가능성의 높음을 시사하였다.
• 이미 대학 경진대회 및 WCO 교육 프로그램에서 데이터셋이 활용되어 교육, 알고리즘 프로토타이핑, 국제 협업 분야에서의 유용성을 입증하였다.