[논문 리뷰] Financial Transaction Retrieval and Contextual Evidence for Knowledge-Grounded Reasoning

Artem D. Sakhno, Daniil Tomilov외 6명|arXiv (Cornell University)|2026. 03. 16.

Financial Distress and Bankruptcy Prediction인용 수 0

한 줄 요약

FinTRACE는 원시 금융 거래를 기능 본질, 행동 패턴, 흰박스 규칙의 구조화된 지식 베이스로 변환하는 재검색-우선 프레임워크를 도입하여 LLM 추론을 지탱하고, 제로샷 및 소수샷에서 강력한 성능을 달성하며 지식 기반의 지시 조정이 가능하게 한다.

ABSTRACT

Nowadays, success of financial organizations heavily depends on their ability to process digital traces generated by their clients, e.g., transaction histories, gathered from various sources to improve user modeling pipelines. As general-purpose LLMs struggle with time-distributed tabular data, production stacks still depend on specialized tabular and sequence models with limited transferability and need for labeled data. To address this, we introduce FinTRACE, a retrieval-first architecture that converts raw transactions into reusable feature representations, applies rule-based detectors, and stores the resulting signals in a behavioral knowledge base with graded associations to the objectives of downstream tasks. Across public and industrial benchmarks, FinTRACE substantially improves low-supervision transaction analytics, doubling zero-shot MCC on churn prediction performance from 0.19 to 0.38 and improving 16-shot MCC from 0.25 to 0.40. We further use FinTRACE to ground LLMs via instruction tuning on retrieved behavioral patterns, achieving state-of-the-art LLM results on transaction analytics problems.

연구 동기 및 목표

• 저잡된 감독 아래의 거래 분석에서 LLM를 시간 분포적이고 이질적인 금융 거래에 적용하는 과제를 해결하기 위해 행동 증거의 재사용 가능한 근거 지식 베이스를 구축한다.
• 원시 거래 로그를 기능 본질, 행동 패턴, 작업 대상과 연결 가능한 투명한 규칙으로 구성된 지식 베이스로 변환하는 재검색-우선 파이프라인을 개발한다.
• KB를 이용한 LLM 근거화 및 지시 조정을 가능하게 하여 공개 및 산업 벤치마크에서 낮은 감독 하의 거래 분석을 개선한다.

제안 방법

• 원시 거래 기록 histories를 세 가지 의미 층으로 구성된 구조화된 지식 베이스로 변환한다: 특징 본질, 행동 패턴, 다운스트림 대상.
• 본질을 패턴 및 패턴을 작업 결과와 연결하는 명시적 화이트박스 규칙(AutoWoE 기반)을 사용하여 근거 체인을 추적 가능하게 만든다.
• KB-근거 프롬프트를 구성하여 LLM이 근거가 grounding된 증거에 조건화된 예측을 생성하도록 하고, 행 단위 직렬화를 대체한다.
• KB-근거 지시 조정을 위해 KB 인스턴스를 grounding된 추론 삼항(트리플)으로 변환하여 감독에 활용한다.
• 타겟 데이터 없이 KB 구성 시 관련 행동 패턴을 검색하고 추론 시 적은 양의 라벨 예제로 자체 반성(self-reflection) 방식으로 소수샷 적응을 지원하여 제로샷 및 소수샷 적응을 가능하게 한다.
• 공개 및 독점 거래 데이터 세트에서 제로샷 및 소수샷 LLM(GPT 계열 및 Llama 계열)을 평가한다.

Figure 1. Generalization gap between LLM and specialized pipelines. In few-shot settings (0/4/16 labels), LLM methods (GPT-OSS, Llama-3-Instruct, Reasoning Bank) plateau below 0.30 MCC, while specialized models (TabPFN, CatBoost, LLM4ES, CoLES) exceed 0.48 MCC only with full supervision. The shaded

실험 결과

연구 질문

• RQ1 저 supervision 하에서 거래 분석에 대한 LLM 근거화 추론을 개선하는 구조화되고 검색 가능한 금융 행동 증거의 지식 베이스가 도움이 되는가?
• RQ2 KB-근거 지시 조정이 공개 금융 벤치마크에서 최첨단 결과를 낳으며 일반 언어 능력을 보존하는가?
• RQ3 제로샷 검색 기반 근거화가 이탈 및 인구통계 작업에서 프롬프트 전용 또는 완전 감독형 표 형식 모델에 비해 어떤 차이를 보이는가?
• RQ4 추론 시 자기 반성 메커니즘이 파라미터 업데이트 없이도 보지 못한 금융 작업에 대한 소수샷 적응을 지원하는가?

주요 결과

• FinTRACE는 Rosbank에서 제로샷 MCC를 0.19에서 0.38로 두 배 상승시키며 프롬프트 전용 방법에 비해 강력한 근거화를 보여준다.
• 16샷 설정에서 FinTRACE는 Rosbank에서 MCC 0.40, DataFusion에서 MCC 0.77, F1이 각각 0.77으로 강력한 베이스라인을 능가한다.
• FinTRACE를 이용한 지식 기반 지시 조정은 Rosbank에서 MCC 0.48, Gender에서 MCC 0.53을 달성하며 텍스트 능력을 보존하고 특정 작업 모델과의 성능 차이를 일부 지표에서 상회한다.
• 비공개 데이터셋에서 제로샷 FinTRACE의 MCC는 0.10으로 가장 높아져, 극심한 라벨 부족 상황에서 기본 GPT-OSS 및 TabLLM 기반선보다 우수하다.
• 비교 결과에서 LLM 주도형 행동 패턴 선택 및 화이트박스 지식이 성능 향상의 핵심 원인임이 확인되었다.
• 화이트박스 KB를 통해 구성된 컨텍스트가 단순 분포 요약이나 특징 중요도 증가보다 현저히 우수한 성능을 발휘한다.

Figure 2. FinTRACE overview. Raw transaction logs (a) are transformed into a structured knowledge base (b) with three semantic layers: feature essences, behavioral patterns, and downstream targets. Explicit white-box rules connect these layers (c), allowing the LLM to produce grounded predictions su