[논문 리뷰] Continual Learning for Unsupervised Anomaly Detection in Continuous Auditing of Financial Accounting Data

Hamed Hemati, Marco Schreyer외 1명|arXiv (Cornell University)|2021. 12. 25.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 지속적 감사 환경에서 금융 회계 데이터의 지속적 감사에 대한 비지도 이상 탐지에 적합한 지속적 학습(CL) 프레임워크를 제안한다. 경험 재생과 탄성 가중치 통합을 사용한 오토인코더를 활용하여 참조 기술의 파손을 방지한다. 이 방법은 시간이 지남에 따라 변화하는 일지 기록 분포에 대한 지식을 유지함으로써 임의의 이상 탐지에서 임계값 이상의 결과와 부정확한 결과를 줄이며, 실제 데이터셋에서 기존의 기준보다 뛰어난 성능을 보인다.

ABSTRACT

International audit standards require the direct assessment of a financial statement's underlying accounting journal entries. Driven by advances in artificial intelligence, deep-learning inspired audit techniques emerged to examine vast quantities of journal entry data. However, in regular audits, most of the proposed methods are applied to learn from a comparably stationary journal entry population, e.g., of a financial quarter or year. Ignoring situations where audit relevant distribution changes are not evident in the training data or become incrementally available over time. In contrast, in continuous auditing, deep-learning models are continually trained on a stream of recorded journal entries, e.g., of the last hour. Resulting in situations where previous knowledge interferes with new information and will be entirely overwritten. This work proposes a continual anomaly detection framework to overcome both challenges and designed to learn from a stream of journal entry data experiences. The framework is evaluated based on deliberately designed audit scenarios and two real-world datasets. Our experimental results provide initial evidence that such a learning scheme offers the ability to reduce false-positive alerts and false-negative decisions.

연구 동기 및 목표

• 실제 회계 시스템에서 흔히 발생하는 비정상적인 일지 기록 분포에서 사기를 탐지하는 데 도전하는 것.
• 지속적 감사 환경에서 스트리밍 감사 데이터를 기반으로 학습된 딥 러닝 모델에서의 참조 기술의 파손 문제를 해결하는 것.
• 지속적인 데이터 분포 변화에서 모델이 점진적으로 학습할 수 있도록 함으로써 비지도 이상 탐지의 신뢰성을 향상시키는 것.
• 지속적 학습이 재정 감사 시나리오에서 임계값 이상의 결과와 부정확한 결과를 줄이는 데 얼마나 효과적인지 입증하는 것.

제안 방법

• 지속적인 일지 기록 스트림에서 점진적으로 학습된 오토인코더 기반 이상 탐지 모델을 사용하여 정상 기록 패턴에서의 이탈을 탐지한다.
• 지속적인 학습 중에 이전에 학습한 지식을 유지하기 위해 경험 재생(ER)과 탄성 가중치 통합(EWC)을 통합한다.
• 재구성 손실을 이상도 수준으로 사용하며, 높은 손실 값은 잠재적인 이상을 나타낸다.
• 두 가지 합성 감사 시나리오를 설계한다: (1) 점진적인 분포 이동이 발생하는 감소하는 대상 부서, (2) 국소적 및 전역적 이상을 통합하여 탐지 성능의 견고성 테스트.
• 시간 순서대로 정렬된 일지 기록의 배치 단위로 데이터를 학습하여 지속적 감사 워크플로우를 시뮬레이션한다.
• 재구성 손실의 차이를 기반으로 성능을 평가하며, SEL(단일 에포크 학습)과 JEL(통합 임베딩 학습)을 기준 모델로 사용한다.

실험 결과

연구 질문

• RQ1 지속적 학습은 지속적 감사 환경에서 비지도 이상 탐지에 사용되는 딥 러닝 모델에서 참조 기술의 파손을 완화할 수 있는가?
• RQ2 지속적 학습은 변화하는 일지 기록 분포에서 이상을 탐지할 때 기존의 정적 학습 방식에 비해 임계값 이상의 경고를 얼마나 줄일 수 있는가?
• RQ3 지속적 학습은 변화하는 데이터 분포에서 희귀하거나 국소적인 이상의 탐지 능력을 얼마나 잘 유지할 수 있는가?
• RQ4 경험 재생, 탄성 가중치 통합, 또는 피지컬 튜닝 중에서 어떤 CL 정규화 기법이 이상 탐지 정확도와 지식 유지 간의 최적의 트레이드오프를 달성하는가?

주요 결과

• 경험 재생(ER)은 폭발적인 감소 조건에서 필라델피아 결제 데이터셋에서 가장 낮은 임계값 이상의 결과 차이를 기록했으며, ΔFP는 -1.08 ± 0.371를 기록했다.
• 감소하는 부서 시나리오에서 ER은 기준 SEL 대비 임계값 이상의 결과를 1.08 단위 감소시켰으며, SFT(ΔFP = 1.82)와 EWC(ΔFP = 2.03)를 모두 뛰어넘었다.
• 이상 기록 시나리오에서 ER은 가장 높은 이상 탐지 성능을 기록했으며, 필라델피아 데이터셋에서 국소 이상에 대해 재구성 손실 차이(ΔFN)는 47.69 ± 6.482를 기록했다.
• ER은 감소하는 대상 부서에 대해 낮은 재구성 손실(2.24 ± 0.292)을 유지하면서 동시에 삽입된 이상에 대해 손실를 증가시킴으로써 부정확한 결과 위험을 감소시켰다.
• 탄성 가중치 통합(EWC)은 중간 정도의 성능을 보였으며, 가장 도전적인 감소 설정에서 ΔFP = 2.03 ± 0.218를 기록하여 지속적인 기술의 파손이 여전히 존재함을 시사했다.
• 기준 SEL 방법은 두 시나리오 모두에서 성능이 열악했으며, 높은 임계값 이상의 결과 차이(예: ΔFP = 1.45 ± 0.115)와 낮은 이상 탐지 민감도(예: ℒRec(A_P1) = 7.03 ± 0.130)를 보였다.