[논문 리뷰] LAMBERT: Layout-Aware (Language) Modeling for information extraction

Łukasz Garncarek, Rafał Powalski외 5명|arXiv (Cornell University)|2020. 02. 19.

Handwritten Text Recognition Techniques참고 문헌 34인용 수 87

한 줄 요약

LAMBERT는 RoBERTa를 개선하기 위해 토큰의 경계 상자 좌표를 입력 임bedding에 통합하는 레이아웃 인식 언어 모델로, 원본 이미지를 사용하지 않고 문서 레이아웃의 맥락적 이해를 가능하게 한다. 이 모델은 핵심 정보 추출 작업에서 최고 성능을 기록하여 SROIE 리더보드에서 98.17 F1 점수로 1위를 차지했으며, Kleister NDA 데이터셋에서 기준 RoBERTa보다 F1 점수를 1.92 포인트 향상시켰다.

ABSTRACT

We introduce a simple new approach to the problem of understanding documents where non-trivial layout influences the local semantics. To this end, we modify the Transformer encoder architecture in a way that allows it to use layout features obtained from an OCR system, without the need to re-learn language semantics from scratch. We only augment the input of the model with the coordinates of token bounding boxes, avoiding, in this way, the use of raw images. This leads to a layout-aware language model which can then be fine-tuned on downstream tasks. The model is evaluated on an end-to-end information extraction task using four publicly available datasets: Kleister NDA, Kleister Charity, SROIE and CORD. We show that our model achieves superior performance on datasets consisting of visually rich documents, while also outperforming the baseline RoBERTa on documents with flat layout (NDA \(F_{1}\) increase from 78.50 to 80.42). Our solution ranked first on the public leaderboard for the Key Information Extraction from the SROIE dataset, improving the SOTA \(F_{1}\)-score from 97.81 to 98.17.

연구 동기 및 목표

• 기존의 자연어 처리 모델이 보기 풍부한 문서의 레이아웃 의미를 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 재학습 없이도 사전 훈련된 언어 모델에 레이아웃 특징을 효율적으로 통합할 수 있는 단순하고 효과적인 방법을 개발하기 위해.
• 양식, 표, 법적 문서와 같은 복잡한 레이아웃을 가진 문서에서 종단간 정보 추출 성능을 향상시키기 위해.
• 평탄한 텍스트 문서에서의 성능을 유지하면서도 대규모 문서 컬렉션에서 비지도 학습을 수행할 수 있도록 하기 위해.
• 오직 경계 상자 좌표만을 사용하여 기존의 OCR 파ip라인과 호환되는 즉시 사용 가능한 솔루션을 제공하기 위해.

제안 방법

• RoBERTa의 입력 임베딩에 토큰의 2차원 경계 상자 좌표를 추가하여 원래 모델 아키텍처를 유지한다.
• 토큰 간의 공간적 관계를 모델링하기 위해 자기주의 주의 메커니즘에 상대적 2차원 위치 편향을 도입한다.
• 레이아웃 임베딩을 모델의 히든 차원으로 투영하기 위해 어댑터 레이어를 도입하여 레이아웃 및 의미 특징의 통합을 제어할 수 있도록 한다.
• 품질과 다양성이 확보된 200만 페이지 분량의 보기 풍부한 문서 데이터셋에서 비지도 방식으로 모델을 훈련한다.
• 레이아웃 애너테이션을 필요로 하지 않고, 하류 정보 추출 작업에서 레이아웃 증강 모델을 미세조정한다.
• 레이아웃 임베딩 유형, 차원 수, 훈련 데이터 크기 등에 대한 분석 실험을 수행하여 레이아웃 특징의 영향을 정확히 파악한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 RoBERTa 모델에 경계 상자 좌표를 통합하는 것이 보기 복잡한 문서에서의 정보 추출 성능을 크게 향상시킬 수 있는가?
• RQ2 레이아웃 특징의 포함 여부가 평탄하고 선형적인 레이아웃을 가진 문서에서의 성능에 어떤 영향을 미치는가?
• RQ3 트랜스포머 기반 아키텍처 내에서 레이아웃 정보를 통합하는 최적의 방법은 절대적 레이아웃 임베딩, 상대적 어텐션 편향, 또는 둘 다를 사용하는가?
• RQ4 더 크고 고도로 품질이 확보된 비지도 사전 훈련 데이터셋을 사용할 경우 레이아웃 증강 모델의 성능이 향상되는가?
• RQ5 어댑터 레이어가 의미 표현과 레이아웃 표현 간의 균형을 유지하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• LAMBERT는 SROIE 데이터셋에서 기존 최고 성능(97.81)을 뛰어넘는 최고의 F1 점수 98.17을 기록했다.
• Kleister NDA 데이터셋에서 LAMBERT는 RoBERTa 기준 성능인 78.50에서 80.42로 F1 점수를 1.92 포인트 향상시켰다.
• 모델은 폼과 법적 계약서와 같은 보기 풍부한 문서를 포함한 네 가지 평가된 데이터셋에서 RoBERTa를 모두 능가했다.
• 분석 실험 결과, 순차적 임베딩과 레이아웃 임베딩에 상대적 2차원 어텐션 편향을 조합한 것이 가장 우수한 성능을 냈으며, SROIE* 및 CORD에서 통계적 유의성이 확인되었다.
• 7500만 페이지 분량의 더 큰, 필터링된 사전 훈련 데이터셋을 사용한 결과, Kleister Charity 및 SROIE*에서 성능 향상이 두드러졌으며, 이는 데이터 품질과 규모가 핵심 요소임을 시사한다.
• 768차원의 레이아웃 임베딩을 사용하고 어댑터 레이어 없이 직접 레이아웃 신호를 주입한 모델이 Kleister Charity에서 다른 구성보다 뛰어난 성능을 보였으며, 이는 어댑터가 필요 없는 경우 직접적인 레이아웃 신호 통합이 더 효과적일 수 있음을 시사한다.