[논문 리뷰] Multimodal Document Analytics for Banking Process Automation

Christopher Gerling, Stefan Lessmann|arXiv (Cornell University)|2023. 07. 21.

Robotic Process Automation Applications인용 수 4

한 줄 요약

이 논문은 은행에서 문서 분석을 자동화하기 위해 텍스트, 레이아웃, 시각적 특징을 통합하는 다중모odal LayoutXLM 모델을 제안한다. 이는 BERT나 GPT와 같은 단모달 모델보다 뛰어난 성능을 보이며, 훈련 데이터의 30%만으로도 최대 F1 점수의 75% 이상을 달성함으로써 실생활 은행 응용 분야에서 높은 효율성과 낮은 데이터 의존도를 입증한다.

ABSTRACT

Traditional banks face increasing competition from FinTechs in the rapidly evolving financial ecosystem. Raising operational efficiency is vital to address this challenge. Our study aims to improve the efficiency of document-intensive business processes in banking. To that end, we first review the landscape of business documents in the retail segment. Banking documents often contain text, layout, and visuals, suggesting that document analytics and process automation require more than plain natural language processing (NLP). To verify this and assess the incremental value of visual cues when processing business documents, we compare a recently proposed multimodal model called LayoutXLM to powerful text classifiers (e.g., BERT) and large language models (e.g., GPT) in a case study related to processing company register extracts. The results confirm that incorporating layout information in a model substantially increases its performance. Interestingly, we also observed that more than 75% of the best model performance (in terms of the F1 score) can be achieved with as little as 30% of the training data. This shows that the demand for data labeled data to set up a multi-modal model can be moderate, which simplifies real-world applications of multimodal document analytics. Our study also sheds light on more specific practices in the scope of calibrating a multimodal banking document classifier, including the need for fine-tuning. In sum, the paper contributes original empirical evidence on the effectiveness and efficiency of multi-model models for document processing in the banking business and offers practical guidance on how to unlock this potential in day-to-day operations.

연구 동기 및 목표

• 소매 은행 분야의 문서 다양성과 다중모달 성격을 분석하기 위해.
• 순수 텍스트 처리를 초월하여 시각적 요소와 레이아웃 특징이 문서 분석에 기여하는 추가적 가치를 평가하기 위해.
• 실제 은행 문서 분류 작업에서 BERT나 GPT와 같은 단모달 모델과 LayoutXLM를 비교 평가하기 위해.
• 은행 분야의 다중모달 모델 훈련 시 데이터 효율성과 클래스 불균형에 대한 강건성을 평가하기 위해.
• 운영 은행 프로세스에 다중모달 모델을 구현하는 데 실용적인 지침을 제공하기 위해.

제안 방법

• 연구는 문서의 텍스트와 레이아웃 정보를 사전에 훈련한 다중모달 트랜스포머 모델인 LayoutXLM를 사용한다.
• 텍스트, 표, 시각적 구조를 포함한 독일 기업 등록부 추출 자료로 구성된 데이터셋에 LayoutXLM를 미세조정한다.
• 성능 평가에는 F1 점수를 사용하며, 레이아웃 및 시각적 특징의 기여도를 분리하기 위해 추상화 연구(ablation study)를 실시한다.
• 모델는 제로샷 및 피샷 설정에서 강력한 기준 모델인 BERT(텍스트 전용)와 GPT-3.5(대규모 언어 모델)와 비교된다.
• 데이터 효율성을 평가하기 위해 레이블이 부여된 데이터셋의 증가하는 비율(10%에서 100%까지)로 훈련하여 성능 향상을 측정한다.
• 클래스 불균형 문제를 해결하기 위해 수동 데이터 균형 조정 없이 성능을 분석하여 모델의 본질적 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 텍스트 전용 모델에 비해 레이아웃 및 시각적 특징이 은행 문서 분류 성능에 얼마나 기여하는가?
• RQ2 은행 문서 분석에서 LayoutXLM와 같은 다중모달 모델이 높은 성능을 달성하기 위해 필요한 레이블이 부여된 훈련 데이터는 어느 정도인가?
• RQ3 복잡한 다중모달 은행 문서를 분류할 때 LayoutXLM는 BERT나 GPT-3.5와 같은 단모달 모델에 비해 어떻게 성능을 내는가?
• RQ4 데이터 증강이나 재가중 조정 없이도 LayoutXLM는 은행 문서 데이터셋에서 흔한 클래스 불균형 문제를 효과적으로 다룰 수 있는가?
• RQ5 데이터 및 미세조정 제약 조건을 고려할 때, LayoutXLM를 실생활 은행 운영 환경에 구현하는 데 실용성이 있는가?

주요 결과

• LayoutXLM는 전체 데이터셋으로 훈련했을 때 약 80%의 F1 점수를 기록하며, 이 성능의 75% 이상을 단지 훈련 데이터의 30%만으로도 달성할 수 있다.
• 추상화 연구 결과, 레이아웃 및 시각적 특징이 성능 향상에 크게 기여하며, 동일한 작업에서 LayoutXLM가 BERT와 GPT-3.5를 모두 앞서는 것으로 확인되었다.
• LayoutXLM는 수동 데이터 균형 조정이나 사전 처리 없이도 클래스 불균형에 강건성을 유지하며 뛰어난 성능을 유지한다.
• 모델 성능은 데이터 크기가 약 200~300페이지 이르기까지 급격히 향상되며, 이후에는 수익 감소 현상이 나타나며 성능 향상 속도가 둔화됨을 보여, 중간 크기의 데이터량 이상에서는 성능 향상의 한계가 있음을 시사한다.
• 은행 환경에서는 대규모 언어 모델인 GPT-3.5조차도 미세조정이 필요함을 확인하여, 고정확도 문서 분석에는 제로샷 추론만으로는 부족함을 입증한다.
• LayoutXLM의 다중모달 설계 덕분에 표, 텍스트, 시각적 요소가 복합적으로 포함된 문서에서 정보를 단모달 모델보다 더 효과적으로 추출할 수 있다.