[논문 리뷰] LAMBERT: Layout-Aware language Modeling using BERT for information extraction.

Łukasz Garncarek, Rafał Powalski외 4명|arXiv (Cornell University)|2020. 02. 19.

Natural Language Processing Techniques인용 수 25

한 줄 요약

LAMBERT는 사전 훈련된 언어 표현에 문서 레이아웃 특징을 재학습 없이 통합하는 레이아웃 인식 기반 BERT 기반 모델을 소개한다. 수정된 트랜스포머를 통해 공간적 및 텍스트적 특징을 융합함으로써, 레이아웃이 의미 해석에 크게 영향을 미치는 경우에도 문서 이해 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we introduce a novel approach to the problem of understanding documents where the local semantics is influenced by non-trivial layout. Namely, we modify the Transformer architecture in a way that allows it to use the graphical features defined by the layout, without the need to re-learn the language semantics from scratch, thanks to starting the training process from a model pretrained on classical language modeling tasks.

연구 동기 및 목표

• 레이아웃 특징이 국소적 의미 해석에 크게 영향을 미치는 경우 문서 이해 과제를 해결하기 위해.
• 예를 들어 위치, 크기, 근접성 등의 그래픽 레이아웃 정보를 BERT와 같은 사전 훈련된 언어 모델에 통합하기 위해.
• 레이아웃 인식 추론에 적응시키면서도 사전 훈련된 언어 표현을 유지하기 위해.
• 양식 및 청구서와 같은 레이아웃 민감도가 높은 문서에서의 정보 추출 과제 성능 향상하기 위해.

제안 방법

• 자기주의 어텐션 계산에 공간 좌표를 통합하는 레이아웃 조건 기반 어텐션 메커니즘을 도입하여 BERT 아키텍처를 확장한다.
• 워드피스 임베딩과 함께 토큰의 경계 상자 좌표(x, y, 너비, 높이)를 추가 입력 임베딩으로 사용한다.
• 레이아웃 임베딩을 토큰 임베딩에 연결하여 어텐션을 공간적 맥락에 조건화한다.
• 사전 훈련된 언어 이해 능력을 유지하면서 문서 수준의 정보 추출 과제에서 종단 간 훈련을 수행한다.
• fine-tuning 동안 텍스트적 특징과 공간적 특징을 함께 최적화하는 다중 모odal 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모듈을 다시 학습하지 않고도 레이아웃 특징을 효과적으로 사전 훈련된 언어 모델에 통합할 수 있는가?
• RQ2 공간적 레이아웃 정보의 포함이 레이아웃 민감도가 높은 상황에서 문서 이해에 어떻게 기여하는가?
• RQ3 제안된 레이아웃 인식 어텐션 메커니즘이 문서 수준의 정보 추출 과제에서 표준 BERT를 얼마나 뛰어나게 성능을 내는가?
• RQ4 모델은 양식, 청구서, 과학 논문과 같은 다양한 문서 유형 간에 일반화 가능한가?

주요 결과

• LAMBERT는 FUNSD 및 SROIE를 포함한 여러 문서 수준의 정보 추출 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 레이아웃 특징의 통합으로 인해 비선형적인 구조를 가진 복잡한 레이아웃에서 표준 BERT 대비 F1 점수 향상이 뚜렷하게 나타난다.
• 재학습된 가중치를 사용함으로써 모델은 치명적인 기억 상실을 피하면서도 강력한 언어 이해 능력을 유지한다.
• 제거 실험 결과 레이아웃 임베딩과 공간 어텐션은 성능 향상에 핵심적인 구성 요소임을 확인한다.