[論文レビュー] Financial Transaction Retrieval and Contextual Evidence for Knowledge-Grounded Reasoning

Artem D. Sakhno, Daniil Tomilov+6 more|arXiv (Cornell University)|Mar 16, 2026

Financial Distress and Bankruptcy Prediction被引用数 0

ひとこと要約

FinTRACE は、生の金融取引を特徴本質、行動パターン、ホワイトボックス規則の構造化知識ベースへと変換する retrieval-first フレームワークを導入し、LLM の推論を地盤付けする。ゼロショットおよびファーストショットでの強力な性能を達成し、知識地盤の指示調整を可能にする。

ABSTRACT

Nowadays, success of financial organizations heavily depends on their ability to process digital traces generated by their clients, e.g., transaction histories, gathered from various sources to improve user modeling pipelines. As general-purpose LLMs struggle with time-distributed tabular data, production stacks still depend on specialized tabular and sequence models with limited transferability and need for labeled data. To address this, we introduce FinTRACE, a retrieval-first architecture that converts raw transactions into reusable feature representations, applies rule-based detectors, and stores the resulting signals in a behavioral knowledge base with graded associations to the objectives of downstream tasks. Across public and industrial benchmarks, FinTRACE substantially improves low-supervision transaction analytics, doubling zero-shot MCC on churn prediction performance from 0.19 to 0.38 and improving 16-shot MCC from 0.25 to 0.40. We further use FinTRACE to ground LLMs via instruction tuning on retrieved behavioral patterns, achieving state-of-the-art LLM results on transaction analytics problems.

研究の動機と目的

• LLM を時系列分散・異種の金融取引へ適用する課題に対し、再利用可能で地盤付けされた行動証拠の知識ベースを作成する。
• 生の取引ログを特徴本質、行動パターン、タスクターゲットへと変換する retrieval-first パイプラインを開発し、透明な規則によりそれらを結びつける。
• KB を用いた LLM の地盤付けと指示調整を可能にし、公共および産業ベンチマークでの低監視取引分析を改善する。

提案手法

• 生の取引履歴を三つの意味レイヤー（特徴本質、行動パターン、下流のターゲット）を持つ構造化知識ベースへ変換する。
• エッセンスとパターン、パターンとタスク成果を結ぶ明示的なホワイトボックス規則（AutoWoE ベース）を用い、証拠連鎖を追跡可能にする。
• KB に基づく地盤付けプロンプトを構築し、地盤付けられた証拠を条件として予測を生成、行レベルの直列化を置換する。
• KB インスタンスを地盤付けられた推論三つ組みに変換して監督学習を行い、KB に基づく指示調整を実施する。
• ターゲットデータを用意せずに関連する行動パターンを検索してゼロショット適応を支援し、推論時適応（自己反省）を限られたラベル付き例で行い、ファーストショットおよび少数ショット適応をサポートする。
• 公的・独自の取引データセットで、ゼロショットおよび少数ショットの LLM（GPT 系・Llama 系）で評価する。

Figure 1. Generalization gap between LLM and specialized pipelines. In few-shot settings (0/4/16 labels), LLM methods (GPT-OSS, Llama-3-Instruct, Reasoning Bank) plateau below 0.30 MCC, while specialized models (TabPFN, CatBoost, LLM4ES, CoLES) exceed 0.48 MCC only with full supervision. The shaded

実験結果

リサーチクエスチョン

• RQ1 低監視下での取引分析において、金融行動証拠の構造化・検索可能な知識ベースは LLM 地盤付け推論を改善できるか。
• RQ2 KB 地盤付け指示調整は、一般的な言語能力を維持しつつ、公開金融ベンチマークで最先端の結果を生み出せるか。
• RQ3 ゼロショット検索ベースの地盤付けは、チャーンとデモグラフィックTASKで、従来のプロンプトのみまたは完全な監視付き表形式モデルと比べてどうか。
• RQ4 推論時の自己反省メカニズムは、パラメータ更新なしで unseen 金融タスクへの少数ショット適応を支持できるか。

主な発見

Method	Rosbank F1	Rosbank MCC	Gender F1	Gender MCC	DataFusion F1	DataFusion MCC
gpt-oss (0 shots)	0.55	0.19	0.60	0.24	0.68	0.04
gpt-oss (16 shots)	0.58	0.25	0.59	0.22	0.68	0.04
gpt-oss + RT (16 shots)	0.66	0.30	0.55	0.08	0.59	0.03
TabPFN_v2 (16 shots)	0.49	0.01	0.61	0.27	0.71	0.09
TabLLM (16 shots)	0.59	0.25	0.53	0.09	0.42	0.00
FeatLLM (16 shots)	0.47	0.11	0.51	0.02	0.65	0.03
KNN + CoLES (16 shots)	0.47	0.06	0.58	0.16	0.61	0.01
KNN + LLM4ES (16 shots)	0.45	0.06	0.51	0.02	–	–
FinTRACE (zero-shot)	0.69	0.38	0.63	0.31	0.65	0.05
FinTRACE (16 shots)	0.70	0.40	0.60	0.24	0.77	0.10

• FinTRACE は Rosbank におけるゼロショット MCC を 0.19 から 0.38 に倍増させ、プロンプトのみの方法に対して強力な地盤付けを示した。
• 16ショット設定で、Rosbank の MCC は 0.40、DataFusion の MCC は 0.77、F1 はそれぞれ 0.68/0.68 の高水準を達成し、強力なベースラインを上回った。
• FinTRACE による知識地盤付き指示調整は、Rosbank の MCC を 0.48、Gender の MCC を 0.53 に達成し、テキスト能力を維持しつつ一部指標でタスク特化モデルに匹敵・上回る。
• 独自データセットでのゼロショットの FinTRACE は最高 MCC（0.10）を示し、極端なラベル不足の下で base GPT-OSS および TabLLM のベースラインを上回った。
• アブレーション結果は、LLM 主導の行動パターン選択とホワイトボックス知識が性能向上の主要推進力であることを示す。
• ホワイトボックス KB によって構築された文脈は、単純な分布要約や特徴重要度付与より大幅に優れている。

Figure 2. FinTRACE overview. Raw transaction logs (a) are transformed into a structured knowledge base (b) with three semantic layers: feature essences, behavioral patterns, and downstream targets. Explicit white-box rules connect these layers (c), allowing the LLM to produce grounded predictions su