[논문 리뷰] Towards automating Numerical Consistency Checks in Financial Reports

Lars Hillebrand, Tobias Deußer외 5명|arXiv (Cornell University)|2022. 11. 11.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

KPI-Check는 구조화되지 않은 텍스트와 구조화된 표(손익계산서 및 재무상태표) 간에 의미적으로 동일한 핵심 성과 지표(KPI)를 식별함으로써 독일 재무 보고서의 수치 일관성을 자동으로 점검하는 BERT 기반 시스템이다. 재무 NER와 대조적 오토에코더를 조합한 텍스트 쌍 분류 기법을 사용하여, 보류된 테스트 세트에서 마이크로 F1 점수 73.00%를 기록하며 수동 감사 작업을 크게 줄였다.

ABSTRACT

We introduce KPI-Check, a novel system that automatically identifies and cross-checks semantically equivalent key performance indicators (KPIs), e.g. "revenue" or "total costs", in real-world German financial reports. It combines a financial named entity and relation extraction module with a BERT-based filtering and text pair classification component to extract KPIs from unstructured sentences before linking them to synonymous occurrences in the balance sheet and profit & loss statement. The tool achieves a high matching performance of $73.00$% micro F$_1$ on a hold out test set and is currently being deployed for a globally operating major auditing firm to assist the auditing procedure of financial statements.

연구 동기 및 목표

• 재무 보고서 간 핵심 성과 지표(KPI)의 수치 일관성 검증을 위한 수동 감사 작업을 줄이기 위해.
• 복사-붙여넣기 및 다수의 기자 참여로 인한 기업 공시에서 흔히 발생하는 수치 일관성 문제를 해결하기 위해.
• 조기 KPI 불일치 탐지로 투자자 신뢰도 및 기업 명성 향상을 위해.
• 구조화된 재무 표(손익계산서 및 재무상태표)와 텍스트 기반 설명 간 KPI 상호 점검을 자동화하기 위해.
• 실제 감사 워크플로우에 적용 가능한 확장성 있고 구현 가능한 시스템을 개발하기 위해.

제안 방법

• 비구조화된 문장에서 KPI와 그 수치값을 동시에 추출하기 위해 재무 분야 특화 BERT 모델인 KPI-BERT를 사용한다.
• BERT를 활용한 문장-표 동시 인코딩 모듈을 적용하여 관련된 문장-표 쌍을 식별하고 KPI 매칭을 수행한다.
• 대조적 오토에코더(CAE) 기반 텍스트 쌍 분류 헤드를 활용해 KPI 언급어 간 의미적 동일성을 판단한다.
• 불필요한 KPI 쌍을 제거함으로써 학습 데이터의 클래스 불균형을 줄이기 위한 필터링 모듈을 통합한다.
• 모델 학습 중 약한 지도 학습을 위해 자동 수치 매칭을 활용하며, 향후 수동 레이블링을 통한 향상 계획이 수립되어 있다.
• 통화 단위 및 척도(예: 백만 단위)를 고려해 금액 값을 비교함으로써 KPI 쌍을 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 비구조화된 텍스트와 구조화된 재무 표 간에 의미적으로 동일한 KPI를 정확히 식별할 수 있는가?
• RQ2 BERT 기반 접근법은 실제 독일 재무 보고서에서 수치 일관성 문제를 얼마나 효과적으로 탐지하는가?
• RQ3 수치 매칭을 통한 자동 약한 지도 학습이 신뢰할 수 있는 KPI 매칭을 얼마나 잘 지원하는가?
• RQ4 필터링 기법은 양성 KPI 쌍의 재현율을 손상시키지 않고 데이터 불균형을 어떻게 줄이는가?
• RQ5 간단한 수치 매칭이 실패하는 라운딩 오류나 단위 불일치가 발생하는 경우에도 시스템은 일반화 성능을 유지할 수 있는가?

주요 결과

• KPI-Check는 보류된 테스트 세트에서 마이크로 F1 점수 73.00%를 기록하여 의미적으로 동일한 KPI를 탐지하는 데 강력한 성능을 입증했다.
• 라운딩 오류나 단위 불일치(예: 'e' vs. 'Te')가 발생하는 KPI도 정확히 식별하여, 단순 수치 매칭으로는 잘못 분류되는 경우를 방지했다.
• 현재 연도와 이전 연도의 값이 우연히 일치하나 KPI가 관련이 없는 경우도 정확히 탐지하여 가짜 양성 결과를 방지했다.
• 필터링 모듈을 통해 음성 대 양성 KPI 쌍의 불균형 비율을 395:1에서 46:1로 감소시켜 학습 효율성을 크게 향상시켰다.
• 자동 생성된 레이블에 의존하고 있음에도 불구하고, 불완전한 레이블이 포함된 정성적 테스트 케이스를 통해 모델의 일반화 능력이 우수함을 입증했다.
• 현재 주요 글로벌 감사 회사에 시스템이 도입 중이며, 초기 사용자 테스트 결과 상당한 효율성 향상이 확인되었다.