[논문 리뷰] Towards Federated Graph Learning for Collaborative Financial Crimes Detection

Toyotaro Suzumura, Yi Zhou외 11명|arXiv (Cornell University)|2019. 09. 19.

Crime, Illicit Activities, and Governance인용 수 30

한 줄 요약

이 논문은 원시 데이터를 공유하지 않고도 다수의 금융 기관이 공동으로 글로벌 금융 범죄(예: 자금세탁)를 탐지할 수 있도록 하는 연합 그래프 학습 프레임워크를 제안한다. 그래프 신경망과 연합 학습을 결합함으로써, 영국 FCA TechSprint 데이터셋을 사용하여 국지 모델 대비 F1 스코어에서 20% 향상을 달성하여 데이터 프라이버시를 유지하면서도 탐지 정확도가 향상됨을 입증한다.

ABSTRACT

Financial crime is a large and growing problem, in some way touching almost every financial institution. Financial institutions are the front line in the war against financial crime and accordingly, must devote substantial human and technology resources to this effort. Current processes to detect financial misconduct have limitations in their ability to effectively differentiate between malicious behavior and ordinary financial activity. These limitations tend to result in gross over-reporting of suspicious activity that necessitate time-intensive and costly manual review. Advances in technology used in this domain, including machine learning based approaches, can improve upon the effectiveness of financial institutions' existing processes, however, a key challenge that most financial institutions continue to face is that they address financial crimes in isolation without any insight from other firms. Where financial institutions address financial crimes through the lens of their own firm, perpetrators may devise sophisticated strategies that may span across institutions and geographies. Financial institutions continue to work relentlessly to advance their capabilities, forming partnerships across institutions to share insights, patterns and capabilities. These public-private partnerships are subject to stringent regulatory and data privacy requirements, thereby making it difficult to rely on traditional technology solutions. In this paper, we propose a methodology to share key information across institutions by using a federated graph learning platform that enables us to build more accurate machine learning models by leveraging federated learning and also graph learning approaches. We demonstrated that our federated model outperforms local model by 20% with the UK FCA TechSprint data set. This new platform opens up a door to efficiently detecting global money laundering activity.

연구 동기 및 목표

• 개별 기관 내에서 고립된 금융 범죄 탐지의 한계를 해결하기 위해 기관 간 협업을 가능하게 하기 위해.
• 금융 기관 간 거래 데이터를 직접 공유할 수 없게 하는 데이터 프라이버시 및 규제 장벽을 극복하기 위해.
• 그래프 기반 특징과 연합 학습을 모두 활용하는 확장성 있고 프라이버시를 보장하는 기계학습 프레임워크를 개발하기 위해.
• 실제 벤치마크 데이터를 사용하여 연합 그래프 학습이 글로벌 금융 범죄 패턴 탐지에 얼마나 효과적인지 입증하기 위해.
• 금융 감독 요구사항을 충족하는 투명하고 설명 가능한 모델을 제공함으로써 규제 준수를 지원하기 위해.

제안 방법

• 각 금융 기관이 자체 데이터에서 국지 모델을 훈련하고, 원시 데이터를 공유하지 않고도 중앙에서 모델 가중치를 집계하는 연합 학습 아키텍처를 활용한다.
• 페이지랭크 및 국소 이웃(에고넷) 내의 의심스러운 당사자 수와 같은 위상 측정치를 사용하여 거래 네트워크에서 그래프 특징을 추출한다.
• 두 개의 밀집 시그모이드 층과 최종 출력 층으로 구성된 신경망을 사용하며, 과소표본화를 통해 다수 클래스를 균형 잡힌 데이터셋에서 이진 교차 엔트로피 손실로 훈련한다.
• 6개의 은행과 중앙 집계자로 구성된 다기관 환경을 시뮬레이션하며, Truex 등(2018)의 연구를 영감으로 삼은 연합 학습 프로토콜을 사용한다.
• 실제 데이터 분포를 반영하기 위해 균형 잡힌 국지 테스트 세트와 균형 잡히지 않은 글로벌 테스트 세트를 모두 사용하여 모델 성능을 평가한다.
• 협업의 영향을 분리하기 위해 국지 모델, 그래프 특징이 포함된 국지 모델, 글로벌로 집계된 연합 모델을 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 원시 거래 데이터를 공유하지 않고도 연합 그래프 학습이 다수 기관 간 금융 범죄 탐지 정확도를 향상시킬 수 있는가?
• RQ2 그래프 기반 위상 특징의 포함 여부가 이상 금융 활동 탐지 성능에 어떤 영향을 미치는가?
• RQ3 실제로 균형 잡히지 않은 데이터셋에서 연합 학습을 통한 협업 모델 훈련이 고립된 국지 모델 훈련보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 규제 및 데이터 프라이버시 제약 조건이 있는 복잡한 금융 범죄 탐지 과제에 대해 프라이버시 보장형 연합 학습 프레임워크를 효과적으로 적용할 수 있는가?
• RQ5 실제 조건을 반영하는 균형 잡히지 않은 통합 데이터셋에서 국지 모델 대비 글로벌로 집계된 모델의 성능 향상은 어느 정도인가?

주요 결과

• 연합 그래프 학습 모델은 글로벌 테스트 세트에서 F1 스코어 0.769를 기록하여, 기관 간 평균 F1 스코어 0.550을 기록한 국지 모델 대비 20% 향상된 성능을 달성했다.
• 모델에 그래프 기반 특징을 추가하면 성능이 크게 향상되어, 기관 간 F1 스코어가 그래프 특징 없이 0.550에서 그래프 특징 유무에 따라 0.761~0.769로 상승했다.
• 균형 잡힌 데이터에서 훈련된 국지 모델는 자체 테스트 세트에서 높은 정확도(95% 이상)를 보였지만, 전체 균형 잡히지 않은 데이터셋에서 평가했을 땐 성능이 급격히 떨어졌으며(F1 ~0.55), 데이터 균형 문제의 과제를 드러냈다.
• 집계된 연합 모델은 균형 잡히지 않은 글로벌 테스트 세트에서도 높은 성능(F1 = 0.769)을 유지하여 기관 간 협업 학습의 이점을 입증했다.
• 훈련 데이터를 균형 잡기 위해 과소표본화를 사용함으로써, 소수 클래스(금융 범죄자)에 대한 모델 일반화 능력이 향상되었으며, 이는 전체 계좌의 0.4%에만 레이블이 부여된 상태였다.
• 원시 데이터가 기관 간 공유되지 않고 오직 모델 파rameter만 교환되는 방식을 통해, 이 프레임워크는 데이터 프라이버시를 성공적으로 보존했다.