[논문 리뷰] Open ERP System Data For Occupational Fraud Detection

Julian Tritscher, Fabian Gwinner외 3명|arXiv (Cornell University)|2022. 06. 09.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 정상적인 비즈니스 운영과 현실적인 직장 내 부정행위 시나리오를 포함한 공개 가능한 합성 ERP 시스템 데이터를 생성하는 새로운 방법을 제안한다. 실제 ERP 시스템에서의 사용자 상호작용을 시뮬레이션하기 위해 시리우스 게임을 활용함으로써, 저자들은 세부적인 부정행위 레이블이 부여된 다년간의 데이터셋을 생성하였으며, 이는 기업 자원 계획 환경에서 부정행위 탐지 기법의 재현 가능성을 보장한다.

ABSTRACT

Recent estimates report that companies lose 5% of their revenue to occupational fraud. Since most medium-sized and large companies employ Enterprise Resource Planning (ERP) systems to track vast amounts of information regarding their business process, researchers have in the past shown interest in automatically detecting fraud through ERP system data. Current research in this area, however, is hindered by the fact that ERP system data is not publicly available for the development and comparison of fraud detection methods. We therefore endeavour to generate public ERP system data that includes both normal business operation and fraud. We propose a strategy for generating ERP system data through a serious game, model a variety of fraud scenarios in cooperation with auditing experts, and generate data from a simulated make-to-stock production company with multiple research participants. We aggregate the generated data into ready to used datasets for fraud detection in ERP systems, and supply both the raw and aggregated data to the general public to allow for open development and comparison of fraud detection approaches on ERP system data.

연구 동기 및 목표

• 직장 내 부정행위 탐지 연구를 위한 공개 가능한 ERP 시스템 데이터의 부족을 해결하기 위해.
• 정상 운영과 다양한 부정행위 시나리오를 포함한 현실적인 합성 ERP 데이터를 생성하기 위해.
• 원시 및 집계된 데이터셋을 공개하여 부정행위 탐지 방법의 재현 가능성과 비교 가능성 확보를 위해.
• P2P 프로세스를 초월해 O2C 프로세스까지 포함하여 보다 광범위한 적용성을 확보하기 위해.
• 탐지 모델의 평가를 심층적으로 가능하게 하기 위해 기능 수준에서 세밀한 전문가 레이블이 부여된 부정행위 레이블 제공을 위해.

제안 방법

• 실제 ERP 시스템에서의 사용자 상호작용을 시뮬레이션하기 위해 시리우스 게임을 활용하여 정상 및 부정행위 비즈니스 프로세스를 모두 캡처하기 위해.
• 감사 전문가들과 협업하여 다양한 직장 내 부정행위 시나리오를 모델링하여 현실성과 다양성을 확보하기 위해.
• 다수의 재무 연도에 걸쳐 여러 차례 시뮬레이션을 수행하여 종단적 ERP 데이터를 생성하기 위해.
• ERP 시스템에서 원시 거래 데이터를 추출하고 이를 사용자 친화적인 데이터셋으로 집계하기 위해.
• 재무 회계 테이블을 결합하여 공동 데이터셋을 생성하고, 구분이 불가능한 부정행위 사례는 제외하여 데이터 무결성 유지하기 위해.
• 전문가 수준의 기능 레이블링을 수행하여 부정행위 사례의 근본 원인을 보여주는 이질적인 컬럼 항목을 강조하기 위해.

실험 결과

연구 질문

• RQ1 시리우스 게임을 활용하여 정상 운영과 직장 내 부정행위를 포함한 현실적인 공개 ERP 데이터를 효과적으로 생성할 수 있는가?
• RQ2 합성 ERP 데이터는 어떻게 구성되어야 부정행위 탐지 알고리즘의 재현 가능성을 보장할 수 있는가?
• RQ3 탐지 성능 평가에 의미 있는 영향을 주기 위해 부정행위 레이블링의 어떤 정도의 세밀도가 필요한가?
• RQ4 재무 회계 수준에서 집계되었을 때 ERP 데이터의 부정행위 사례는 정상 거래와 얼마나 구분 가능한가?
• RQ5 O2P 및 P2P와 같은 다수의 비즈니스 프로세스를 하나의 개방형 데이터셋에서 통합적으로 커버하기 위해 데이터 생성 전략은 어떻게 확장할 수 있는가?

주요 결과

• 저자들은 시리우스 게임 기반 시뮬레이션을 통해 정상 및 부정행위 거래를 포함한 다년간의 ERP 시스템 데이터를 성공적으로 생성하였다.
• 데이터셋에는 여러 재무 연도에 걸쳐 총 86宗의 부정행위 사례가 포함되어 있으며, 최종 공동 데이터셋에는 50건의 부정행위가 레이블링되었다.
• 부정행위 사례는 일반적으로 정상적인 데이터 내 소수의 이질적인 항목을 통해 탐지 가능하며, 이는 통계적 이면 탐지 방법의 적용을 지지한다.
• 전문가가 레이블링한 기능 수준의 레이블 포함으로, 거래 수준에서의 부정행위 탐지 성능에 대한 세밀한 분석이 가능해졌다.
• 최종 데이터셋은 원시 및 집계된 데이터를 포함하여 공개되었으며, ERP 부정행위 탐지 분야의 개방형이고 재현 가능한 연구를 지원하기 위해 제공되었다.
• 이 방법은 O2C 및 P2P를 포함한 다양한 비즈니스 프로세스에서 부정행위 탐지 방법의 벤치마킹을 가능하게 하였으며, 현실적인 부정행위 시나리오를 반영하였다.