[論文レビュー] Learning Transactions Representations for Information Management in Banks: Mastering Local, Global, and External Knowledge

Alexandra Bazarova, Maria Kovaleva+8 more|arXiv (Cornell University)|Apr 2, 2024

Business Strategy and Innovation被引用数 4

ひとこと要約

本稿では、顧客行動の局所的・包括的・動的特性を統合的に捉え、集約されたクライアント表現からの外部コンテキストを統合することで、金融取引データに対する包括的表現学習フレームワークを提案する。局所的（例：次回のMCC予測）、包括的（全履歴）、動的（時間経過に伴う変化）の次元で表現を評価するための新規生成モデルとベンチマークを導入し、対照的ベースライン比で最大14%高いROC-AUCを達成するとともに、外部コンテキストを組み込むことで20%の向上を実現した。

ABSTRACT

In today's world, banks use artificial intelligence to optimize diverse business processes, aiming to improve customer experience. Most of the customer-related tasks can be categorized into two groups: 1) local ones, which focus on a client's current state, such as transaction forecasting, and 2) global ones, which consider the general customer behaviour, e.g., predicting successful loan repayment. Unfortunately, maintaining separate models for each task is costly. Therefore, to better facilitate information management, we compared eight state-of-the-art unsupervised methods on 11 tasks in search for a one-size-fits-all solution. Contrastive self-supervised learning methods were demonstrated to excel at global problems, while generative techniques were superior at local tasks. We also introduced a novel approach, which enriches the client's representation by incorporating external information gathered from other clients. Our method outperforms classical models, boosting accuracy by up to 20\%.

研究の動機と目的

• 既存手法が局所的または包括的表現に焦点を当てているが、両者を同時に扱わないというギャップに対処すること。
• 時間的ダイナミクスと時間経過に伴うクライアント行動の変化を同時に捉える包括的表現学習フレームワークの開発。
• 専門家が定義した指標に依存せずに、集約されたクライアント行動やマクロ経済トレンドなどの外部コンテキストを個々の顧客表現に統合すること。
• 金融取引データにおける局所的・包括的・動的特性の表現を評価する包括的ベンチマークの設計。
• より優れた表現品質により、次イベント予測や異常検出といった下流タスクの性能向上。

提案手法

• フレームワークは、生成モデル（例：オートエンコーダ、トランスフォーマー、時系列ポイントプロセス）と対照的学習を組み合わせたハイブリッドアプローチを用い、取引シーケンスから包括的埋め込みを学習する。
• 二重損失学習戦略を採用：生成モデルのための再構成損失と、シーケンス間の構造的類似性を保持するための対照的損失。
• 外部コンテキストは、トレーニングセットに含まれるすべてのクライアント表現を集約し、アテンション機構を介して個々のクライアントエンコーダーにこのグローバル信号を統合することでモデル化する。
• 不規則な間隔の取引イベントを処理するため、時間の符号化と正規化された時間間隔（日単位）を用い、生のタイムスタンプによる数値オーバーフローを回避する。
• 局所的表現の評価には、シーケンス上をスライディングウィンドウで移動する専用の検証プロトコルを採用し、次イベント予測のためのROC-AUCなどの指標を用いる。
• ハイパーパrameterチューニングに注意を払い、希少なMCCコードのためのシーケンス長のクリッピングと、メモリ制約のため外部コンテキストを組み込む際のバッチサイズの低減を実施。

実験結果

リサーチクエスチョン

• RQ1 1つの表現学習フレームワークが、金融取引シーケンスの局所的（現在の状態）および包括的（全履歴）特性を効果的に同時に捉えることができるか？
• RQ2 集約されたクライアント表現から得られる外部コンテキストを統合することで、個々の顧客埋め込みの品質はどの程度向上するか？
• RQ3 生成モデルは、次MCC予測といった局所的下流タスクにおいて、対照的ベースラインをどの程度上回るか？
• RQ4 取引データにおける表現の時間的ダイナミクスをどのように意味的に評価・ベンチマーク化できるか？
• RQ5 不規則なタイミング、混合カテゴリカルおよび連続的特徴といったデータ固有の特性が、表現学習性能に与える影響は何か？

主な発見

• 提案された生成フレームワークは、最先端の対照的ベースライン比で、次MCC予測タスクにおいて最大14%高いROC-AUCを達成した。
• 外部コンテキストを組み込むことで、下流タスクの性能がさらに20%向上し、グローバル行動信号の価値が裏付けられた。
• モデルの局所的表現は、不正検出や変化点検出に不可欠な一時的顧客行動を、既存手法を著しく上回る精度で捉えている。
• ベンチマークフレームワークは、局所的・包括的・動的次元の表現を効果的に評価でき、表現品質の包括的評価を可能にした。
• 高メモリ要件にもかかわらず、クライアント表現のランダムサブセットを外部コンテキストモデリングに用いることで、スケーラビリティを実現した。
• 本フレームワークは、公的データ（Churn, Age, Default, HSBC）および民間産業データを含む多様なデータセットに一般化でき、ドメインシフトに対しても頑健であることが示された。