[논문 리뷰] MatchVIE: Exploiting Match Relevancy between Entities for Visual Information Extraction

Guozhi Tang, Lele Xie외 7명|arXiv (Cornell University)|2021. 06. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 문서 이미지 이해에서 정확도를 향상시키기 위해 엔티티의 관련성 기반 키-밸류 매칭을 활용하는 새로운 시각적 정보 추출 모델인 MatchVIE를 제안한다. 그래프 신경망을 사용해 키와 밸류 간의 강력한 의미적 및 공간적 관계를 모델링하고, 안정적인 밸류 인코딩을 위해 Num2Vec을 도입함으로써 MatchVIE는 특히 숫자 및 모호한 엔티티에서 최신 기술 수준(SOTA) 성능을 달성했으며, EPHOIE에서 이전 방법 대비 최대 3.66% 높은 F1 스코어를 기록했다.

ABSTRACT

Visual Information Extraction (VIE) task aims to extract key information from multifarious document images (e.g., invoices and purchase receipts). Most previous methods treat the VIE task simply as a sequence labeling problem or classification problem, which requires models to carefully identify each kind of semantics by introducing multimodal features, such as font, color, layout. But simply introducing multimodal features couldn't work well when faced with numeric semantic categories or some ambiguous texts. To address this issue, in this paper we propose a novel key-value matching model based on a graph neural network for VIE (MatchVIE). Through key-value matching based on relevancy evaluation, the proposed MatchVIE can bypass the recognitions to various semantics, and simply focuses on the strong relevancy between entities. Besides, we introduce a simple but effective operation, Num2Vec, to tackle the instability of encoded values, which helps model converge more smoothly. Comprehensive experiments demonstrate that the proposed MatchVIE can significantly outperform previous methods. Notably, to the best of our knowledge, MatchVIE may be the first attempt to tackle the VIE task by modeling the relevancy between keys and values and it is a good complement to the existing methods.

연구 동기 및 목표

• 모호하거나 숫자 성격을 띤 의미 범주를 다룰 때 기존의 순서열 레이블링 및 분류 기반 VIE 방법의 한계를 해결하기 위해.
• 문서 레이아웃 내 키와 밸류 간의 관련성을 명시적으로 모델링하여 시각적 정보 추출 성능을 향상시키기 위해.
• 문서 레이아웃의 구조적 및 공간적 신호를 활용해 세밀한 의미 인식에 대한 의존도를 줄이기 위해.
• 새로운 밸류 인코딩 기법인 Num2Vec을 통해 모델의 안정성과 수렴성을 향상시키기 위해.
• 키-밸류 매칭을 핵심 학습 목표로 삼음으로써 VIE에 대한 새로운 시각을 제공하기 위해.

제안 방법

• MatchVIE는 이중 브랜치 아키텍처를 사용한다: 하나는 그래프 신경망(GNN)을 활용한 키-밸류 관련성 평가용이고, 다른 하나는 독립적인 텍스트 시퀀스 레이블링 전용이다.
• 관련성 평가 브랜치는 노드가 엔티티를 나타내고, 간선이 공간적 또는 의미적 밀접함을 나타내는 그래프에서 다중헤드 자기주의 메커니즘을 적용한다.
• 훈련 중의 불안정성을 줄이고 수렴을 향상시키기 위해 숫자 값들을 조밀 벡터로 임bedding하는 데 사용되는 새로운 연산인 Num2Vec이 도입된다.
• 모델은 그래프 신경망을 통해 시각적, 레이아웃적, 의미적 특징을 통합하여 문서 이미지 내 엔티티 간의 장거리 종속성을 포착한다.
• 키-밸류 매칭 메커니즘은 직접적인 의미 분류가 아닌 강력한 맥락적 관계 기반으로 엔티티 범주를 추론할 수 있도록 한다.
• 엔티티 분류 및 매칭 예측에 대한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기존의 순서열 레이블링 또는 분류 기반 방법과 비교해 문서 이미지 내 키-밸류 관련성 모델링이 시각적 정보 추출 정확도를 향상시킬 수 있는가?
• RQ2 엔티티 간 레이아웃 및 공간적 관계를 통합할 경우, 모호하거나 숫자 성격을 띤 엔티티 범주에서의 성능에 어떤 영향을 미치는가?
• RQ3 Num2Vec 인코딩 기법이 밸류 표현의 훈련 안정성과 수렴 속도에 얼마나 기여하는가?
• RQ4 다중 모odal 특징 융합에 의존하는 방법과 비교해, 엔티티 관계에 초점을 맞춘 그래프 기반 접근 방식이 성능에서 뛰어나게 되는가?
• RQ5 직접적인 의미 분류 대신 키-밸류 매칭이 시각적 정보 추출에서 실현 가능하고 효과적인 대안이 될 수 있는가?

주요 결과

• SROIE 데이터셋에서 MatchVIE는 96.57%의 F1 스코어를 기록했으며, 이는 이전 최신 기술 수준 방법(TRIE)보다 0.39%p 높은 성능이다.
• EPHOIE 데이터셋에서 MatchVIE는 96.87%의 F1 스코어를 달성했으며, SOTA 방법(TRIE)을 3.66%p 초월했고, 특히 숫자 및 모호한 범주에서 뛰어난 성능을 보였다.
• FUNSD 데이터셋에서 MatchVIE는 이전 SOTA 대비 F1 스코어를 2.06%p 향상시켜 다양한 레이아웃에 대한 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 관련성 브랜치에서 두 층과 다중헤드 어텐션을 사용할 경우 최적의 성능를 기록했으며, 세 층을 초과하면 수익 감소 현상이 나타났다.
• Num2Vec 연산은 더 매끄러운 훈련 곡선과 더 나은 일반화 능력을 통해 훈련 안정성과 수렴 속도 향상에 상당한 기여를 했다.
• 키-밸류 매칭 메커니즘은 특히 유사하거나 숫자 성격을 띤 엔티티(예: '만기일'과 '발행일')에 대해 세밀한 의미 인식에 대한 필요성을 줄였다.