[论文解读] Adversarial Learning of Deepfakes in Accounting

Marco Schreyer, Timur Sattarov+2 more|Alexandria (UniSG) (University of St.Gallen)|Oct 9, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用 11

一句话总结

本文展示了对抗性自编码器如何学习ERP系统中真实日记账条目的解耦潜在表征，使攻击者能够生成可规避计算机辅助审计技术（CAATs）检测的对抗性日记账条目。该方法支持两种攻击场景——异常值替换与异常值增强，通过操纵潜在因子将欺诈性条目伪装成合法交易，从而破坏审计控制机制。

ABSTRACT

Nowadays, organizations collect vast quantities of accounting relevant transactions, referred to as 'journal entries', in 'Enterprise Resource Planning' (ERP) systems. The aggregation of those entries ultimately defines an organization's financial statement. To detect potential misstatements and fraud, international audit standards demand auditors to directly assess journal entries using 'Computer Assisted AuditTechniques' (CAATs). At the same time, discoveries in deep learning research revealed that machine learning models are vulnerable to 'adversarial attacks'. It also became evident that such attack techniques can be misused to generate 'Deepfakes' designed to directly attack the perception of humans by creating convincingly altered media content. The research of such developments and their potential impact on the finance and accounting domain is still in its early stage. We believe that it is of vital relevance to investigate how such techniques could be maliciously misused in this sphere. In this work, we show an adversarial attack against CAATs using deep neural networks. We first introduce a real-world 'thread model' designed to camouflage accounting anomalies such as fraudulent journal entries. Second, we show that adversarial autoencoder neural networks are capable of learning a human interpretable model of journal entries that disentangles the entries latent generative factors. Finally, we demonstrate how such a model can be maliciously misused by a perpetrator to generate robust 'adversarial' journal entries that mislead CAATs.

研究动机与目标

• 调查计算机辅助审计技术（CAATs）在会计领域中使用深度生成模型时对对抗性攻击的脆弱性。
• 开发一种威胁模型，将欺诈性日记账条目伪装成合法ERP交易数据。
• 训练一种对抗性自编码器，以解耦真实世界日记账条目中的潜在生成因子，用于恶意用途。
• 展示如何利用学习到的潜在空间生成可规避基于规则和统计的CAATs检测的对抗性条目。
• 评估在金融数据中实现类似深度伪造的操纵手段的可行性，以误导审计人员并破坏审计完整性。

提出的方法

• 在ERP系统中的真实日记账条目数据上训练对抗性自编码器，以学习交易属性的解耦潜在表征。
• 采用条件采样策略，在固定某些属性（如总账账户或金额）的同时遍历潜在因子轨迹，以生成对抗性条目。
• 实施两类攻击：异常值替换（将大额可疑条目拆分为多个合规的小额条目）与异常值增强（添加多个条目以掩盖稀有总账账户的使用）。
• 利用学习到的潜在空间 $ q_s(z_{k=14}) $ 采样对抗性条目，使其在保持语义一致性的同时规避检测规则。
• 将模型应用于真实世界数据，生成的条目保持在内部控制阈值内（如审批限额），并避免统计异常。
• 通过模拟此类条目在标准CAATs（包括红灯测试和基于本福德定律的检查）中的处理过程，评估攻击的有效性。

实验结果

研究问题

• RQ1 对抗性自编码器能否学习ERP系统中真实日记账条目的解耦且可人为理解的表征？
• RQ2 此类学习到的表征在多大程度上可被利用以生成可规避CAATs检测的对抗性日记账条目？
• RQ3 能否设计出专门针对基于规则和统计审计控制的CAATs对抗性攻击？
• RQ4 对抗性条目在隐藏大额未批准分录或孤立总账账户使用等欺诈行为方面有多有效？
• RQ5 金融数据中类似深度伪造的操纵手段对审计完整性和财务报表可靠性有何影响？

主要发现

• 对抗性自编码器成功解耦了日记账条目的潜在生成因子，实现了对金额、总账账户和公司代码等属性的细粒度控制。
• 成功生成了对抗性条目，将一笔单一高价值发票分录（$47,632.45）拆分为五个低于$25,000审批限额的小额条目，从而规避了基于规则的检测。
• 在异常值增强场景中，生成了15个对抗性条目，均使用同一稀有总账账户（B24），有效掩盖了单一孤立分录，显著降低了其统计异常评分。
• 生成的对抗性条目在语义和结构上与真实数据保持一致，对人工审计员和自动化CAATs均具有高度可信度。
• 该攻击表明，即使是最先进的CAATs，若依赖统计和基于规则的检查，仍可通过针对性地操纵潜在空间而被规避。
• 本研究提供了实证证据，表明对会计数据进行类似深度伪造的操纵是可行的，并对依赖机器学习和数据分析的审计系统构成真实威胁。