[論文レビュー] Adversarial Learning of Deepfakes in Accounting

Marco Schreyer, Timur Sattarov+2 more|Alexandria (UniSG) (University of St.Gallen)|Oct 9, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 11

ひとこと要約

本稿は、ERPシステム内の実際の仕訳伝票に対して敵対的オートエンコーダーが、分離された潜在的表現を学習できることを示しており、これにより攻撃者は検出を回避する敵対的仕訳伝票を生成できる。この手法により、異常置換と異常強調の2つの攻撃シナリオが可能となり、不正な伝票が潜在要因を操作することで正当な取引として偽装され、監査コントロールが無効化される。

ABSTRACT

Nowadays, organizations collect vast quantities of accounting relevant transactions, referred to as 'journal entries', in 'Enterprise Resource Planning' (ERP) systems. The aggregation of those entries ultimately defines an organization's financial statement. To detect potential misstatements and fraud, international audit standards demand auditors to directly assess journal entries using 'Computer Assisted AuditTechniques' (CAATs). At the same time, discoveries in deep learning research revealed that machine learning models are vulnerable to 'adversarial attacks'. It also became evident that such attack techniques can be misused to generate 'Deepfakes' designed to directly attack the perception of humans by creating convincingly altered media content. The research of such developments and their potential impact on the finance and accounting domain is still in its early stage. We believe that it is of vital relevance to investigate how such techniques could be maliciously misused in this sphere. In this work, we show an adversarial attack against CAATs using deep neural networks. We first introduce a real-world 'thread model' designed to camouflage accounting anomalies such as fraudulent journal entries. Second, we show that adversarial autoencoder neural networks are capable of learning a human interpretable model of journal entries that disentangles the entries latent generative factors. Finally, we demonstrate how such a model can be maliciously misused by a perpetrator to generate robust 'adversarial' journal entries that mislead CAATs.

研究の動機と目的

• 会計分野における深層生成モデルを用いた敵対的攻撃が、コンピュータ支援監査技術（CAATs）に与える脆弱性を調査すること。
• 不正な仕訳伝票を正当なERP取引データに埋め込むスレッドモデルを開発すること。
• 悪意ある目的で使用可能な、実世界の仕訳伝票の潜在的生成要因を分離する敵対的オートエンコーダーを訓練すること。
• 学習された潜在空間を活用して、ルールベースおよび統計的CAATsを回避する敵対的伝票を生成する方法を実証すること。
• 深層生成モデルによる金融データのデューフェーク的操作が、監査官をだますことや監査の整合性を損なう可能性を評価すること。

提案手法

• ERPシステムの実際の仕訳伝票データを用いて敵対的オートエンコーダーを訓練し、取引属性の分離された潜在的表現を学習した。
• 特定の属性（例：一般仕訳勘定や金額）を固定したまま、潜在要因の軌道を走査するための条件付きサンプリング戦略を用いて、敵対的伝票を生成した。
• 2つの攻撃クラスを実装した：異常置換（大きな、疑わしい伝票を、承認限度額以下の複数の小規模な伝票に分割）と異常強調（希少な一般仕訳勘定の使用を隠すために複数の伝票を追加）。
• 学習された潜在空間 $ q_s(z_{k=14}) $ を活用して、意味的整合性を保ちつつ検出ルールを回避する敵対的伝票をサンプリングした。
• 実世界のデータにモデルを適用し、内部統制の閾値（例：承認限度額）内に収まり、統計的異常を避ける伝票を生成した。
• 標準的なCAATs（赤旗テストやベンフォードの法則に基づくチェックを含む）がどのように処理されるかをシミュレートすることで、攻撃の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 敵対的オートエンコーダーは、ERPシステム内の実際の仕訳伝票に対して、人間が解釈可能な分離された潜在的表現を学習できるか？
• RQ2 このような学習された表現をどれだけ活用して、CAATsの検出を回避する敵対的仕訳伝票を生成できるか？
• RQ3 ルールベースおよび統計的監査コントロールを特に回避するように設計されたCAATsに対する敵対的攻撃は可能か？
• RQ4 敵対的伝票は、大額の承認なしの仕訳や、孤立した一般仕訳勘定の使用といった不正行為をどれほど効果的に隠蔽できるか？
• RQ5 金融データにおけるデューフェーク的（deepfake的）な操作が、監査の整合性と財務諸表の信頼性に与える影響は何か？

主な発見

• 敵対的オートエンコーダーは、金額、一般仕訳勘定、会社コードなどの属性を細かく制御できるように、仕訳伝票の潜在的生成要因を正常に分離した。
• 1つの高額請求（$47,632.45）を5つの小規模な伝票に分割する敵対的伝票が正常に生成され、$25,000の承認限度額を下回るため、ルールベースの検出を回避できた。
• 異常強調のシナリオでは、15件の敵対的伝票が生成され、同じ希少な一般仕訳勘定（B24）を使用することで、1件の孤立した仕訳が隠蔽され、統計的異常スコアが低下した。
• 生成された敵対的伝票は、実データと意味的・構造的に整合性を保ち、人間の監査官および自動CAATsにとっても妥当に見えるものであった。
• 攻撃は、統計的およびルールベースのチェックに依存する最新鋭のCAATsですら、潜在空間の的確な操作によって回避可能であることを示した。
• 本研究は、会計データに対するデューフェーク的（deepfake的）な操作が実現可能であり、機械学習およびデータ分析に依存する監査システムに対して現実の脅威をもたらすという実証的証拠を提供した。