[논문 리뷰] Robustness of Structured Data Extraction from In-plane Rotated Documents using Multi-Modal Large Language Models (LLM)

Anjanava Biswas, Wrick Talukdar|arXiv (Cornell University)|2024. 06. 13.

Natural Language Processing Techniques인용 수 5

한 줄 요약

본 논문은 평면 문서 기울기(in-plane document skew)가 구조화된 데이터 추출에 미치는 영향을 세 가지 멀티모달 LLM( Claude V3 Sonnet, GPT-4-Turbo, Llava v1.6 )으로 평가하고, 안전한 회전 범위를 식별하며, 탐지/수정의 한계 및 향후 강건한 아키텍처에 대해 논의한다.

ABSTRACT

Multi-modal large language models (LLMs) have shown remarkable performance in various natural language processing tasks, including data extraction from documents. However, the accuracy of these models can be significantly affected by document in-plane rotation, also known as skew, a common issue in real-world scenarios for scanned documents. This study investigates the impact of document skew on the data extraction accuracy of three state-of-the-art multi-modal LLMs: Anthropic Claude V3 Sonnet, GPT-4-Turbo, and Llava:v1.6. We focus on extracting specific entities from synthetically generated sample documents with varying degrees of skewness. The results demonstrate that document skew adversely affects the data extraction accuracy of all the tested LLMs, with the severity of the impact varying across models. We identify the safe in-plane rotation angles (SIPRA) for each model and investigate the effects of skew on model hallucinations. Furthermore, we explore existing skew detection and correction mechanisms and discuss their potential limitations. We propose alternative approaches, including developing new multi-modal architectures that are inherently more robust to document skew and incorporating skewing techniques during the pre-training phase of the models. Additionally, we highlight the need for more comprehensive testing on a wider range of document quality and conditions to fully understand the challenges and opportunities associated with using multi-modal LLMs for information extraction in real-world scenarios.

연구 동기 및 목표

• 최신 멀티모달 LLM이 구조화된 데이터 추출에 미치는 평면 내 회전(스큐)의 영향을 평가한다.
• Claude V3 Sonnet, GPT-4-Turbo, Llava v1.6의 varying skew에서의 성능을 비교한다.
• 각 모델에 대한 SIPRA를 식별하고 스큐로 인한 환각 현상을 연구한다.
• 기존의 스큐 탐지/수정 approaches의 한계점을 평가한다.
• 스큐가 있는 문서 시나리오의 강건성을 위한 대안적 접근 및 향후 방향을 논의한다.

제안 방법

• 다양한 스큐 수준의 합성 문서를 사용하여 실제 스캔 문서를 시뮬레이션한다.
• 최신 멀티모달 LLM 세 가지: Anthropic Claude V3 Sonnet, GPT-4-Turbo, Llava v1.6를 구조화 데이터 추출 과제에서 평가한다.
• 스큐 하에서 모델 정확도와 환각 경향을 분석한다.
• 각 모델에 대한 SIPRA를 식별한다.
• 기존의 기울기 탐지 및 보정 메커니즘을 검토하고 잠재적 한계를 논의한다.
• 스큐링을 포함한 프리트레이닝 및 새로운 멀티모달 아키텍처를 포함한 방향을 제안한다.

실험 결과

연구 질문

• RQ1 선정된 멀티모달 LLM에서 평면 내 회전 스큐가 구조화 데이터 추출 정확도에 어떤 영향을 미치는가?
• RQ2 각 모델에 대한 안전한 평면 내 회전 각도(SIPRA)는 무엇인가?
• RQ3 스큐가 데이터 추출 작업에서 모델의 환각에 어떤 영향을 미치는가?
• RQ4 이 맥락에서 현재의 기울기 탐지/수정 방법의 한계는 무엇인가?
• RQ5 문서 스큐에 대한 강건성을 개선할 수 있는 대안적 접근 방식은 무엇이며(아키텍처 설계, 프리트레이닝 전략)?

주요 결과

• 문서 스큐는 모든 테스트 모델의 데이터 추출 정확도에 부정적 영향을 미치며 모델마다 영향 정도가 다르다.
• 본 연구에서 각 모델에 대한 SIPRA가 확인되었다.
• 스큐가 모델의 환각에 미치는 영향이 조사되고 논의되었다.
• 기존의 스큐 탐지 및 보정 메커니즘이 한계와 함께 검토되었다.
• 새로운 멀티모달 아키텍처의 개발 및 프리트레이닝 중 스큐 반영 등을 포함한 대안적 방법을 제안하고 문서 품질 및 조건에 대한 더 광범위한 테스트를 촉구한다.