[논문 리뷰] Adversarial Learning of Deepfakes in Accounting

Marco Schreyer, Timur Sattarov외 2명|Alexandria (UniSG) (University of St.Gallen)|2019. 10. 09.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 11

한 줄 요약

이 논문은 기업 자원 계획(ERP) 시스템 내 실제 일지 기록의 분리된 잠재 표현을 학습할 수 있도록 적대적 오토인코더를 활용하는 방법을 보여주며, 이는 컴퓨터 지원 감사 기법(CAATs)을 회피하는 데 목적이 있는 적대적 일지 기록 생성을 가능하게 한다. 이 방법은 이상치 교체 및 이상치 증강이라는 두 가지 공격 시나리오를 가능하게 하여, 위장된 잠재 요소를 조작함으로써 위조 기록을 합법적인 거래로 위장함으로써 감사 통제를 약화시킨다.

ABSTRACT

Nowadays, organizations collect vast quantities of accounting relevant transactions, referred to as 'journal entries', in 'Enterprise Resource Planning' (ERP) systems. The aggregation of those entries ultimately defines an organization's financial statement. To detect potential misstatements and fraud, international audit standards demand auditors to directly assess journal entries using 'Computer Assisted AuditTechniques' (CAATs). At the same time, discoveries in deep learning research revealed that machine learning models are vulnerable to 'adversarial attacks'. It also became evident that such attack techniques can be misused to generate 'Deepfakes' designed to directly attack the perception of humans by creating convincingly altered media content. The research of such developments and their potential impact on the finance and accounting domain is still in its early stage. We believe that it is of vital relevance to investigate how such techniques could be maliciously misused in this sphere. In this work, we show an adversarial attack against CAATs using deep neural networks. We first introduce a real-world 'thread model' designed to camouflage accounting anomalies such as fraudulent journal entries. Second, we show that adversarial autoencoder neural networks are capable of learning a human interpretable model of journal entries that disentangles the entries latent generative factors. Finally, we demonstrate how such a model can be maliciously misused by a perpetrator to generate robust 'adversarial' journal entries that mislead CAATs.

연구 동기 및 목표

• 컴퓨터 지원 감사 기법(CAATs)이 회계 분야에서 심층 생성 모델을 활용한 적대적 공격에 얼마나 취약한지 조사하기.
• 불법 기록을 합법적인 ERP 거래 데이터 내에 숨기는 스레드 모델을 개발하기.
• 악성 용도로 사용할 수 있도록 실제 일지 기록의 잠재 생성 요소를 분리하는 데 목적이 있는 적대적 오토인코더를 훈련하기.
• 학습된 잠재 공간이 규칙 기반 및 통계 기반 CAATs에 의해 탐지되지 않는 적대적 기록 생성에 어떻게 악용될 수 있는지 보여주기.
• 딥페이크 유사 조작이 재무 데이터에 적용될 경우 감사 무결성과 재무 제원의 신뢰성에 어떤 영향을 미칠 수 있는지 평가하기.

제안 방법

• 실제 ERP 시스템의 일지 기록 데이터를 기반으로 적대적 오토인코더를 훈련하여 거래 속성의 분리된 잠재 표현을 학습하기.
• 일부 속성(예: 일반분개 계정 또는 금액)을 고정한 상태에서 잠재 요소의 궤적을 탐색하기 위해 조건부 샘플링 전략을 사용하여 적대적 기록을 생성하기.
• 두 가지 공격 유형을 구현: 이상치 교체(크고 의심스러운 기록을 작은, 기준에 부합하는 기록들로 분할) 및 이상치 증강(희귀 일반분개 계정 사용을 감추기 위해 여러 기록을 추가함).
• 학습된 잠재 공간 $ q_s(z_{k=14}) $ 을 활용하여 의미적 일관성을 유지하면서도 탐지 규칙을 회피하는 적대적 기록을 샘플링하기.
• 실제 데이터에 모델을 적용하여 내부 통제 기준(예: 승인 한도) 내에 머물고 통계적 이상 현상도 피하는 기록을 생성하기.
• 표준 CAATs(예: 빨간기준 테스트 및 벤포르드 법 기반 검사)가 이러한 기록을 어떻게 처리할지 시뮬레이션하여 공격의 효과성 평가하기.

실험 결과

연구 질문

• RQ1 적대적 오토인코더는 ERP 시스템 내 실제 일지 기록의 분리된, 인간이 이해할 수 있는 표현을 학습할 수 있는가?
• RQ2 이러한 학습된 표현이 CAATs에 의해 탐지되지 않는 적대적 일지 기록 생성에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 규칙 기반 및 통계 기반 감사 통제를 특별히 회피하도록 CAATs를 대상으로 한 적대적 공격를 설계할 수 있는가?
• RQ4 큰, 승인되지 않은 기록 또는 고립된 일반분개 계정 사용과 같은 불법 활동을 효과적으로 가림내기 위해 적대적 일지 기록은 얼마나 유용한가?
• RQ5 재무 데이터에 대한 딥페이크 유사 조작이 감사 무결성과 재무 제원의 신뢰성에 어떤 영향을 미칠 수 있는가?

주요 결과

• 적대적 오토인코더는 일지 기록의 잠재 생성 요소를 성공적으로 분리하여 금액, 일반분개 계정, 기업 코드 등의 속성에 대해 세밀한 제어를 가능하게 하였다.
• 단일 고가의 청구서 기록($47,632.45)을 $25,000 승인 한도 이하인 다섯 개의 더 작은 기록으로 분할하여 규칙 기반 탐지 시스템을 회피하는 데 성공한 적대적 기록이 생성되었다.
• 이상치 증강 시나리오에서는 동일한 희귀 일반분개 계정(B24)을 공유하는 15개의 적대적 기록이 생성되어 단일 고립된 기록을 효과적으로 가림내고 통계적 이상도 수치를 낮추었다.
• 생성된 적대적 기록은 실제 데이터와 의미적·구조적 일관성을 유지하여 인간 감사원과 자동화된 CAATs 모두에게 신뢰성 있게 보였으며, 현실성 있는 기록으로 판단되었다.
• 공격는 심층 학습 및 데이터 분석 기반의 기계학습 기반 CAATs조차도 잠재 공간의 타겟팅된 조작을 통해 회피할 수 있음을 입증하였다.
• 이 연구는 딥페이크 스타일의 회계 데이터 조작이 실현 가능하며, 기계학습과 데이터 분석에 의존하는 감사 시스템에 실제 위협이 된다는 경험적 증거를 제공한다.