[논문 리뷰] DocTr: Document Transformer for Structured Information Extraction in Documents

Haofu Liao, Aruni RoyChowdhury외 7명|arXiv (Cornell University)|2023. 07. 16.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 구조적 정보 추출(SIE)을 앵커 기반 객체 검출 작업으로 포지셔닝하는 DocTr라는 문서 트랜스포머 모델을 제안한다. 엔티티는 앵커 단어와 바운딩 박스로 표현되어 텍스트 순서에 대한 의존도를 줄이고 엔티티 연결을 단순화한다. 이 방법은 세 가지 SIE 벤치마크에서 기존의 IOB 및 그래프 기반 접근 방식을 능가하며, 새로운 마스킹 검출 모델링 사전 훈련 작업을 통해 CORD 영수증 파싱에서 94.4%의 F1 점수를 기록한다.

ABSTRACT

We present a new formulation for structured information extraction (SIE) from visually rich documents. It aims to address the limitations of existing IOB tagging or graph-based formulations, which are either overly reliant on the correct ordering of input text or struggle with decoding a complex graph. Instead, motivated by anchor-based object detectors in vision, we represent an entity as an anchor word and a bounding box, and represent entity linking as the association between anchor words. This is more robust to text ordering, and maintains a compact graph for entity linking. The formulation motivates us to introduce 1) a DOCument TRansformer (DocTr) that aims at detecting and associating entity bounding boxes in visually rich documents, and 2) a simple pre-training strategy that helps learn entity detection in the context of language. Evaluations on three SIE benchmarks show the effectiveness of the proposed formulation, and the overall approach outperforms existing solutions.

연구 동기 및 목표

• 시각적으로 rich한 문서에서 구조적 정보 추출에 있어 IOB 태깅 및 그래프 기반 방법의 한계를 해결하기 위해.
• 엔티티를 앵커 단어와 바운딩 박스로 모델링하여 올바른 텍스트 읽기 순서에 대한 의존도를 줄이기 위해.
• 앵커 단어 간 연관성으로 구성된 단순한 그래프를 통해 엔티티 연결을 단순화하기 위해.
• 바운딩 박스 및 텍스트 예측에 특화된 새로운 사전 훈련 작업을 통해 문서 이해를 향상시키기 위해.
• 언어 조건부 쿼리( LCQ)를 사용하여 엔티티를 동시에 검출하고 연결하는 통합 시각-언어 모델을 개발하기 위해.

제안 방법

• SIE를 앵커 기반 검출 문제로 포지셔닝: 각 엔티티는 앵커 단어와 바운딩 박스로 표현되며, 엔티티 연결은 앵커 단어 간의 연관성으로 모델링된다.
• OCR 텍스트에서 출력으로의 일대일 매핑을 위해 시각 인코더, 언어 인코더, 언어 조건부 쿼리(LCQ)를 갖춘 시각-언어 디코더를 통합한 DocTr라는 시각-언어 트랜스포머를 도입한다.
• OCR 텍스트와 바운딩 박스를 동시에 마스킹하는 사전 훈련 작업인 마스킹 검출 모델링(MDM)을 제안하며, 모델이 마스킹된 단어와 그 위치를 예측하도록 요구한다.
• 사전 훈련 및 미세조정 단계에서 바운딩 박스에 대한 검출 손실과 텍스트에 대한 언어 모델링 손실을 병합한 다중 작업 손실을 사용한다.
• 교차 attention 레이어에서 언어 조건부 쿼리(LCQ)를 적용하여 OCR 토큰과 예측된 엔티티 박스 간의 정렬을 유도한다.
• 표준 검출 및 분류 헤드를 사용하여 다운스트림 SIE 작업에서 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 IOB 태깅에 비해 검출 기반의 SIE 포지셔닝이 입력 텍스트 순서에 대한 의존도를 줄일 수 있는가?
• RQ2 앵커 단어 간 연관성으로 엔티티 연결을 모델링하면 복잡한 그래프 기반 방법에 비해 디코딩의 강건성을 향상시킬 수 있는가?
• RQ3 텍스트와 바운딩 박스를 동시에 마스킹하는 사전 훈련 작업(MDM)이 문서 내 엔티티 검출 및 정렬에 효과적인가?
• RQ4 통합된 트랜스포머 아키텍처에서 시각과 언어 모델링의 통합은 문서 이해에 얼마나 효과적인가?
• RQ5 언어 조건부 쿼리의 사용이 OCR 토큰과 예측된 엔티티 박스 간 정렬을 얼마나 향상시키는가?

주요 결과

• 제안된 앵커 기반 포지셔닝은 세 가지 SIE 벤치마크 전반에서 IOB 태깅 및 그래프 기반 방법을 능가하며, CORD 영수증 파싱 작업에서 94.4%의 F1 점수를 기록한다.
• 마스킹 검출 모델링(MDM) 사전 훈련 작업은 성능을 크게 향상시키며, 사전 훈련 없음 및 MVLM 사전 훈련보다 뛰어나며, 특히 바운딩 박스 예측에서 두각을 나타낸다.
• 시각 인코더, 언어 인코더, VL-디코더를 모두 포함한 전체 DocTr 모델은 CORD에서 94.4%의 F1 점수를 기록하며, MVLM 사전 훈련 대비 4.1% 향상된다.
• 제거 실험 결과, 시각 인코더와 언어 조건부 쿼리(LCQ)가 핵심 요소임을 확인하였으며, LCQ는 ELB에서 1.3%, ELK에서 1.1%의 성능 향상을 이룬다.
• 모델은 문서 유형 간 일반화 능력이 뛰어나, FUNSD(ELB에서 84.0% F1)와 CORD(파싱에서 94.4% F1)에서 우수한 성능을 보이며, 엔티티 유형에 따라 앵커 단어가 달라져도 잘 작동한다.
• 예시 예측 결과, 모델은 시각적 맥락을 활용하여 마스킹된 단어와 바운딩 박스를 정확히 예측하며, 가격과 같은 비텍스트 값도 포함해 정확히 추론한다.