[논문 리뷰] Detection of Anomalies in Large Scale Accounting Data using Deep Autoencoder Networks

Marco Schreyer, Timur Sattarov외 3명|arXiv (Cornell University)|2017. 09. 15.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 79

한 줄 요약

이 논문은 재구성 오차와 속성-값 확률을 결합하여 대규모 회계 데이터의 이상된 분개 항목을 감지하기 위해 심층 자동인코더 네트워크를 사용하고, 두 개의 실제 SAP ERP 데이터셋에서 평가합니다. 여러 기준선보다 정밀도에서 우수하고 재현율이 높게 유지됩니다.

ABSTRACT

Learning to detect fraud in large-scale accounting data is one of the long-standing challenges in financial statement audits or fraud investigations. Nowadays, the majority of applied techniques refer to handcrafted rules derived from known fraud scenarios. While fairly successful, these rules exhibit the drawback that they often fail to generalize beyond known fraud scenarios and fraudsters gradually find ways to circumvent them. To overcome this disadvantage and inspired by the recent success of deep learning we propose the application of deep autoencoder neural networks to detect anomalous journal entries. We demonstrate that the trained network's reconstruction error obtainable for a journal entry and regularized by the entry's individual attribute probabilities can be interpreted as a highly adaptive anomaly assessment. Experiments on two real-world datasets of journal entries, show the effectiveness of the approach resulting in high f1-scores of 32.93 (dataset A) and 16.95 (dataset B) and less false positive alerts compared to state of the art baseline methods. Initial feedback received by chartered accountants and fraud examiners underpinned the quality of the approach in capturing highly relevant accounting anomalies.

연구 동기 및 목표

• 적색 경고 규칙의 한계와 사기 적응으로 인한 효과 부족으로 ERP/분개 데이터에서 비지도 이상 탐지의 필요성을 동기 부여한다.
• 정상 분개 패턴을 모델링하고 이상치를 탐지하기 위한 심층 자동인코더 기반 접근법을 제안한다.
• 재구성 오차와 속성-값 확률을 결합하는 새로운 이상 점수 시스템을 개발한다.
• 실제 SAP ERP 데이터셋에서 방법을 평가하고 기준선과 비교하여 효과성과 실용성을 평가한다.

제안 방법

• 분개를 이진(원-핫) 인코딩 속성 벡터로 표현하여 범주형 회계 특성을 포착한다.
• 병목 아키텍처를 갖춘 심층 자동인코더 네트워크를 학습시켜 정상 분개 항목의 압축 표현을 학습한다.
• 각 항목에 대해 재구성 오차 E를 계산하고 이를 정규화하여 Devi deviation의 척도인 RE를 얻는다.
• 개별 속성 값의 빈도에서 속성-값 확률 점수 AP를 계산하고 정규화한다.
• AS = alpha * RE + (1 - alpha) * AP로 RE와 AP를 결합하는 이상 점수 AS를 정의하고, AS가 임계값 beta를 초과할 때 이상치를 표시한다.
• 깊이에 따른 효과를 연구하기 위해 여러 아키텍처(AE1–AE9)를 비교하고 합성 이상치의 재현율과 정밀도를 최적화한다.

실험 결과

연구 질문

• RQ1 속성 확률로 규제된 심층 자동인코더 기반 재구성 오차가 대규모 ERP 데이터 세트에서 이상 분개를 효과적으로 탐지할 수 있는가?
• RQ2 실제 회계 데이터에서 모델 깊이가 이상 탐지 성능과 거짓 양성률에 어떤 영향을 미치는가?
• RQ3 제안된 자동인코더 기반 접근법이 본 분야의 표준 비지도 이상 탐지 방법과 어떻게 비교되는가?
• RQ4 이 방법을 사용해 탐지된 이상치를 검토할 때 실무자들이 얻는 질적 인사이트(전반적 대 지역적 관점)는 무엇인가?

주요 결과

• 가장 깊은 아키텍처(AE9)가 두 데이터셋에 걸친 합성 이상치에서 최고 재현율(100%)을 달성했으며, 탐지된 이상치 수는 비교적 적었다(데이터셋 A에서 0.16%, 데이터셋 B에서 0.62%).
• 자동인코더 기반 접근법은 기준선에 비해 높은 정밀도를 달성했고 거짓 양성을 크게 줄였다(OC-SVM 비교에서 데이터셋 A는 176개, 데이터셋 B는 97개 감소).
• PCA, LOF, OC-SVM, DBSCAN 등의 기준선과 비교할 때, 자동인코더(AE9)는 ROC-AUC에서 경쟁력을 보였고 이상치 정밀도가 훨씬 나았다.
• 질적 분석은 탐지된 글로벌 이상치가 종종 드문 속성 값이나 잘못된 게시를 포함했으며, 로컬 이상치는 그렇지 않더라도 일반 속성의 특이한 조합을 포착했고, 감사인들은 이 항목들이 포렌식 검토에 관련성이 있다고 판단했다.