[논문 리뷰] Transparency and Privacy: The Role of Explainable AI and Federated Learning in Financial Fraud Detection

Tomisin Awosika, Raj Mani Shukla외 1명|arXiv (Cornell University)|2023. 12. 20.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 금융기관에서의 데이터 기밀성과 모델 투명성을 확보하기 위해 설명 가능한 인공지능(XAI)을 통합한 연합학습(FL) 기반의 사기 탐지 시스템을 제안한다. 은행 데이터를 현지에서 모델을 훈련하고 암호화된 모델 업데이트만 공유함으로써 기밀성을 유지하면서도 희귀한 사기 거래를 93%의 정확도로 탐지하는 데 성공했으며, SHAP 분석을 통해 설명 가능하고 신뢰할 수 있는 예측이 가능하다.

ABSTRACT

Fraudulent transactions and how to detect them remain a significant problem for financial institutions around the world. The need for advanced fraud detection systems to safeguard assets and maintain customer trust is paramount for financial institutions, but some factors make the development of effective and efficient fraud detection systems a challenge. One of such factors is the fact that fraudulent transactions are rare and that many transaction datasets are imbalanced; that is, there are fewer significant samples of fraudulent transactions than legitimate ones. This data imbalance can affect the performance or reliability of the fraud detection model. Moreover, due to the data privacy laws that all financial institutions are subject to follow, sharing customer data to facilitate a higher-performing centralized model is impossible. Furthermore, the fraud detection technique should be transparent so that it does not affect the user experience. Hence, this research introduces a novel approach using Federated Learning (FL) and Explainable AI (XAI) to address these challenges. FL enables financial institutions to collaboratively train a model to detect fraudulent transactions without directly sharing customer data, thereby preserving data privacy and confidentiality. Meanwhile, the integration of XAI ensures that the predictions made by the model can be understood and interpreted by human experts, adding a layer of transparency and trust to the system. Experimental results, based on realistic transaction datasets, reveal that the FL-based fraud detection system consistently demonstrates high performance metrics. This study grounds FL's potential as an effective and privacy-preserving tool in the fight against fraud.

연구 동기 및 목표

• 중앙집중식 데이터 공유가 규제 및 기관 제약을 위반하므로, 금융 사기 탐지에서의 데이터 기밀성 문제를 해결하기 위해.
• 사기 거래가 희귀하여 탐지가 어려운 거래 데이터셋의 클래스 불균형 문제를 해결하기 위해.
• 설명 가능한 인공지능(XAI) 기법을 통합하여 투명하고 설명 가능한 예측을 통해 모델 신뢰도를 향상시키기 위해.
• 원시 고객 데이터를 공유하지 않고도 협업 모델 훈련이 가능한 탈중앙화된 사기 탐지 프레임워크를 개발하기 위해.
• 실제 거래 데이터셋을 대상으로 XAI 통합 연합학습 기반 시스템의 성능을 평가하여 정확도, 정밀도, 재현도, F1-스코어를 중심으로 분석하기 위해.

제안 방법

• 다양한 금융기관 간에 원시 거래 데이터를 공유하지 않고도 전역 사기 탐지 모델을 훈련하기 위해 연합학습(FL)을 활용한다.
• 각 클라이언트(은행)는 자체 소유의 불균형 거래 데이터셋을 바탕으로 국지적 신경망을 훈련하고, 업데이트된 모델 가중치만 중앙 서버에 전송한다.
• 중앙 서버는 FedAvg(Federação Averaging)를 사용해 이러한 모델 업데이트를 집계하여 전역 모델을 형성하며, 이는 모든 클라이언트의 성능을 반복적으로 향상시킨다.
• 설명 가능한 인공지능(XAI)은 SHAP(SHapley Additive exPlanations)를 사용해 모델 예측에 기여하는 특성 기여도를 해석한다. 색상 코드가 적용된 SHAP 플롯은 긍정적(빨간색) 및 부정적(파란색) 영향을 보여준다.
• 모델 성능은 정확도, 정밀도, 재현도, F1-스코어와 같은 표준 지표를 사용해 다수의 훈련 에포크 동안 평가된다.
• 시스템은 스케일링과 실시간 모델 집계를 보장하기 위해 Flask를 사용해 서버-클라이언트 통신을 구현하고, 다중 스레딩을 적용한다.

Figure 1 : Proposed Federated Learning Architecture

실험 결과

연구 질문

• RQ1 연합학습 기반의 사기 탐지 시스템은 금융기관 간 데이터 기밀성을 유지하면서도 높은 성능을 달성할 수 있는가?
• RQ2 설명 가능한 인공지능(XAI) 통합이 사기 탐지 예측의 투명성과 신뢰도를 어떻게 향상시키는가?
• RQ3 FL 프레임워크는 거래 데이터셋의 데이터 불균형으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ4 여러 훈련 에포크 동안 FL 모델의 수렴 동작과 성능 안정성은 어떠한가?
• RQ5 SHAP 분석을 통해 어떤 거래 특성이 사기 예측에 가장 큰 영향을 미치는가?

주요 결과

• FL 기반 사기 탐지 모델은 수렴 후 최종 정확도 93%를 기록하여 불균형 거래 데이터에서 뛰어난 성능을 보였다.
• 정밀도는 약 40개의 훈련 에포크까지 선형적으로 증가한 후 진동을 보이며, 이는 모델이 성능 포화 상태에 도달했음을 시사한다.
• 재현도는 에포크 수가 증가함에 따라 꾸준히 증가하여, 모델이 시간이 지남에 따라 사기 사례를 더 잘 식별해내는 능력을 키웠음을 보여준다.
• F1-스코어는 훈련 에포크가 증가함에 따라 향상되었으며, 이는 정밀도와 재현도가 균형 잡힌 개선을 이룬다는 것을 의미하지만, 40 에포크 이후에는 수익 감소 경향을 보였다.
• SHAP 분석을 통해 2.15, 0.418, 0.517 등의 특성이 사기 예측에 가장 강한 긍정적 영향을 미쳤으며, 1.15와 -0.8 등의 특성은 영향력이 약한 것으로 나타났다.
• SHAP 플롯을 통해 개별 특성 값의 기여도가 명확히 드러나 모델의 해석 가능성과 신뢰도가 향상되었으며, 중요한 금융 응용 분야에서의 신뢰성 확보와 감사 가능성 향상에 기여했다.

Figure 2 : Workflow of the proposed System