[논문 리뷰] KPI-EDGAR: A Novel Dataset and Accompanying Metric for Relation Extraction from Financial Documents

Tobias Deußer, Syed Musharraf Ali외 5명|arXiv (Cornell University)|2022. 10. 17.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

이 논문은 영문 재무 보고서에서 키 성과 지표(KPI)의 공동 명명된 실체 인식 및 관계 추출을 위한 새로운 영어 데이터셋인 KPI-EDGAR를 소개한다. KPI 스패닝(annotation)의 본질적인 모호성 때문에 발생하는 부분적 정확도를 고려한 가중치가 부여된 F1 스코어를 제안함으로써, 이 노이즈가 많고 흐린 도메인 환경에서 기존의 F1보다 더 정확한 모델 성능 평가를 가능하게 한다.

ABSTRACT

We introduce KPI-EDGAR, a novel dataset for Joint Named Entity Recognition and Relation Extraction building on financial reports uploaded to the Electronic Data Gathering, Analysis, and Retrieval (EDGAR) system, where the main objective is to extract Key Performance Indicators (KPIs) from financial documents and link them to their numerical values and other attributes. We further provide four accompanying baselines for benchmarking potential future research. Additionally, we propose a new way of measuring the success of said extraction process by incorporating a word-level weighting scheme into the conventional F1 score to better model the inherently fuzzy borders of the entity pairs of a relation in this domain.

연구 동기 및 목표

• 공개적으로 이용 가능한 영문 재무 문서에서 공동 KPI 추출을 위한 수작업으로 레이블링된 데이터셋이 부족한 문제를 해결하기 위해.
• 실체 경계가 모호하거나 일관되지 않게 레이블링된 경우 관계 추출 평가에 있어 기존의 F1 스코어가 가지는 한계를 극복하기 위해.
• 고품질의 공개 접근 가능한 데이터셋과 평가 기준을 제공함으로써 재무 NLP 분야에서 재현 가능하고 기준이 되는 연구를 가능하게 하기 위해.
• 실제 세계의 재무 텍스트 레이블링에서 발생하는 모호성을 모델링함으로써 KPI 추출을 위한 더 강력한 모델 개발을 지원하기 위해.
• 실제 기업 보고서를 기반으로 한 표준화된 벤치마크와 평가 프레임워크를 통해 향후 재무 NLP 분야의 연구를 촉진하기 위해.

제안 방법

• 미국 EDGAR 데이터베이스에서 확보한 10-K 연간 보고서를 바탕으로 KPI-EDGAR를 구축하였으며, 상장 기업을 중심으로 하였다.
• 1,000개 이상의 문장에서 KPI, 수치적 값(cy, py), 관련 속성(예: 증가, 감소, 그에 따라 등)에 대한 수작업 레이블링을 수행하였다.
• 예측된 실체 스팸과 정답 스팸 간의 단어 수준 겹침을 기반으로 부분적 점수를 부여하는 새로운 가중치 F1 스코어를 설계하였다. 정확한 일치가 필요로 하지 않는다.
• 데이터셋과 평가 기준의 유용성을 입증하기 위해, KPI-BERT를 포함한 4개의 베이스라인 모델을 구현하였다.
• 예측된 실체 스팸과 정답 스팸 간의 겹침 정도를 반영하도록 가중치 체계를 조정하였으며, 더 긴 겹침 세그먼트일수록 더 높은 가중치를 부여하였다.
• 기존의 F1과 가중치 F1 스코어를 비교하여 신규 평가 기준의 영향을 평가하였으며, 일부 정확도가 부분적으로 맞는 경우를 강조하였다.

실험 결과

연구 질문

• RQ1 실제로 공개된 재무 보고서에서 고용량의 레이블링 품질과 일관성을 확보하면서 공동 KPI 추출을 위한 데이터셋을 어떻게 구성할 수 있는가?
• RQ2 인간 레이블러들이 KPI 실체의 경계에 대해 어느 정도 의견을 다르게 보이며, 이는 모델 평가에 어떤 영향을 미치는가?
• RQ3 실체 스팸의 부분적 겹침을 고려한 가중치 F1 스코어가 재무 텍스트 맥락에서 기존의 엄격한 F1 스코어보다 모델 성능을 더 잘 반영할 수 있는가?
• RQ4 기존의 모델들이 새로운 KPI-EDGAR 데이터셋에서 기존 F1과 가중치 F1 스코어를 모두 사용하여 평가했을 때 성능은 어떠한가?
• RQ5 흐린 실체 경계는 재무 NLP 작업의 평가 기준 설계에 어떤 영향을 미치는가?

주요 결과

• KPI-EDGAR 데이터셋은 실제 10-K 보고서에서 유래한 1,000개 이상의 레이블링된 문장을 포함하며, KPI, 그들의 값(cy, py), 관련 속성에 대한 세밀한 레이블링이 이루어져 있다.
• Cohen’s Kappa 스코어는 레이블러들 간에 KPI 경계에 대해 상당한 불일치가 있음을 드러내었으며(kappa = 0.0822), 실체 스팸 정의의 높은 모호성을 시사한다.
• 제안된 가중치 F1 스코어는 예측의 부분적 정확도를 효과적으로 포착하였다. 특히 일부 단어만 잘못 분류된 경우에 특히 유용하다.
• 기존의 F1 스코어는 경계 오류가 약간 있을 경우 모델을 엄격히 처벌하는 반면, 가중치 F1 스코어는 더 세밀하고 현실적인 성능 평가를 제공한다.
• KPI-BERT와 같은 베이스라인 모델은 가중치 F1 스코어로 평가했을 때 이전에는 숨어 있었던 부분 예측의 강점을 드러내어 성능 해석이 향상되었다.
• 본 연구는 가중치 F1 스코어가 레이블링 노이즈에 더 강건하며, 재무 NLP 작업에서 실제 세계의 모델 행동을 더 잘 반영함을 입증하였다.