[논문 리뷰] Federated Continual Learning to Detect Accounting Anomalies in Financial Auditing

Marco Schreyer, Hamed Hemati외 2명|arXiv (Cornell University)|2022. 10. 26.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 데이터 분포 변화가 발생하는 동적 클라이언트 환경에서 분산되고 개인정보를 보호하며 적응 가능한 모델 훈련을 가능하게 하는 회계 이상 탐지용 연합 지속 학습(Federated Continual Learning, FCL) 프레임워크를 제안한다. 이 방법은 클라이언트 간 모델을 집계하기 위해 연합 학습을, 기존 지식을 유지하기 위해 지속 학습을 조합하여 실제 감사 시나리오에서 최대 99.84%의 글로벌 이상 탐지 정밀도를 달성한다.

ABSTRACT

The International Standards on Auditing require auditors to collect reasonable assurance that financial statements are free of material misstatement. At the same time, a central objective of Continuous Assurance is the real-time assessment of digital accounting journal entries. Recently, driven by the advances in artificial intelligence, Deep Learning techniques have emerged in financial auditing to examine vast quantities of accounting data. However, learning highly adaptive audit models in decentralised and dynamic settings remains challenging. It requires the study of data distribution shifts over multiple clients and time periods. In this work, we propose a Federated Continual Learning framework enabling auditors to learn audit models from decentral clients continuously. We evaluate the framework's ability to detect accounting anomalies in common scenarios of organizational activity. Our empirical results, using real-world datasets and combined federated continual learning strategies, demonstrate the learned model's ability to detect anomalies in audit settings of data distribution shifts.

연구 동기 및 목표

• 진행 중인 데이터 분포 변화가 발생하는 분산되고 동적인 조직 환경에서 적응형이며 개인정보 보호 기능을 갖춘 감사 모델을 훈련하는 데 도전 과제를 해결하기 위해.
• 이전 재무 패턴에 대한 지식을 유지하면서 새로운 패턴을 학습해야 하는 지속 학습 환경에서 치명적인 잊음 문제를 완화하기 위해.
• 여러 감사 클라이언트 간의 클라이언트별 데이터 분포 변화로 인한 모델 간섭을 줄이기 위해.
• 시간적 및 클라이언트 기반 데이터 분포 변화가 발생하는 실제 금융 감사 시나리오에서 연합 지속 학습 전략의 효과를 평가하기 위해.
• FCL이 연속 보증 환경에서 정확하고 실시간으로 회계 이상을 탐지할 수 있음을 입증하기 위해.

제안 방법

• 중앙 서버가 다수의 분산된 감사 클라이언트로부터 모델 집계를 조율하는 연합 학습 설정을 사용하여 데이터 프라이버시를 유지한다.
• 지속 학습 기법인 리플레이(Replay), LwF, EWC를 각 클라이언트에서 적용하여 시간에 따라 증분 학습하는 동안 치명적인 잊음을 방지한다.
• 클라이언트 데이터 분포 변화로 인한 모델 간섭을 줄이기 위해 FedProx, Scaffold, FedYogi를 연합 최적화 전략으로 통합한다.
• 재구성 오차가 높은 일지 항목을 식별하기 위해 오토인코더 기반 이상 탐지 모델을 사용한다.
• 실제 도시 정부 데이터셋 다수에서 글로벌 및 로컬 이상 탐지 작업에 대해 평균 정밀도(AP)를 사용하여 모델 성능을 평가한다.
• 실험은 다섯 개의 랜덤 시드를 사용하여 FL 및 CL 전략을 조합하여 결과의 강건성과 변동성을 보고한다.

실험 결과

연구 질문

• RQ1 데이터 분포 변화가 발생하는 분산되고 동적인 감사 환경에서 연합 지속 학습 프레임워크가 효과적으로 회계 이상을 탐지할 수 있는가?
• RQ2 순차적인 감사 데이터에서 학습할 때, 리플레이, LwF, EWC와 같은 다양한 지속 학습 전략이 치명적인 잊음을 얼마나 효과적으로 완화하는가?
• RQ3 FedProx, Scaffold, FedYogi와 같은 연합 최적화 전략이 클라이언트별 데이터 분포 변화로 인한 모델 간섭을 어느 정도 줄이는가?
• RQ4 시간적 및 클라이언트 기반 분포 변화가 발생하는 실제 감사 데이터셋에서 FL 및 CL 전략의 어떤 조합이 가장 높은 이상 탐지 정밀도를 달성하는가?
• RQ5 FCL 환경에서 다양한 이상 유형과 AEN 모델 크기에 따라 모델 성능은 어떻게 변하는가?

주요 결과

• FedProx와 EWC를 조합한 전략이 필라델피아 시 데이터셋에서 99.84% ± 2.97의 최고 글로벌 이상 탐지 정밀도를 기록하여, FedAvg-Sequential 기준선을 크게 앞서 갔다.
• FedProx와 리플레이를 조합한 전략은 필라델피아에서 74.11% ± 9.34의 글로벌 AP를 기록하여 순차적 미세조정 및 기준선 FedAvg보다 향상된 안정성을 보였다.
• Scaffold와 순차적 미세조정을 조합한 전략은 필라델피아에서 93.39% ± 4.23의 글로벌 AP를 기록하여 이질적인 클라이언트 간 모델 수렴을 효과적으로 관리하는 데 성공했다.
• 요크 시 데이터셋에서는 FedProx와 EWC 조합이 87.67% ± 3.11의 글로벌 AP를 기록하여, 더 작은 AEN 모델과 희소 데이터 조건에서도 강력한 성능을 보였다.
• FedProx와 LwF의 조합은 시카고에서 76.18% ± 5.81의 글로벌 AP를 기록하여 클라이언트 간 분포 변화를 다루는 데 있어 뛰어난 내구성을 보였다.
• 모든 데이터셋에서 FCL 프레임워크는 연합 학습과 단일 클라이언트 학습 간 성능 격차를 줄여, 치명적인 잊음과 모델 간섭을 효과적으로 완화했다고 나타났다.