[논문 리뷰] One-shot Information Extraction from Document Images using Neuro-Deductive Program Synthesis

Vishal Sunder, Ashwin Srinivasan외 3명|arXiv (Cornell University)|2019. 06. 06.

Handwritten Text Recognition Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 사전에 학습된 딥 뉴럴 네트워크와 신경추론 프로그램 합성 기반의 신호-기호 프레임워크를 제안하여, 단일 레이블링된 이미지와 논리적 추론을 위한 메타-인터프리터를 사용해 문서 이미지에서 일회성 정보 추출을 가능하게 한다. 단일 레이블링된 이미지와 메타-인터프리터를 활용해, 유사한 문서 간에 잘 일반화되는 재사용 가능한 논리 프로그램을 합성하며, 최소한의 감독 학습으로 높은 정확도를 달성하고, 이질적 케이스에 대해 인간이 참여하는 보완 기능을 지원한다.

ABSTRACT

Our interest in this paper is in meeting a rapidly growing industrial demand for information extraction from images of documents such as invoices, bills, receipts etc. In practice users are able to provide a very small number of example images labeled with the information that needs to be extracted. We adopt a novel two-level neuro-deductive, approach where (a) we use pre-trained deep neural networks to populate a relational database with facts about each document-image; and (b) we use a form of deductive reasoning, related to meta-interpretive learning of transition systems to learn extraction programs: Given task-specific transitions defined using the entities and relations identified by the neural detectors and a small number of instances (usually 1, sometimes 2) of images and the desired outputs, a resource-bounded meta-interpreter constructs proofs for the instance(s) via logical deduction; a set of logic programs that extract each desired entity is easily synthesized from such proofs. In most cases a single training example together with a noisy-clone of itself suffices to learn a program-set that generalizes well on test documents, at which time the value of each entity is determined by a majority vote across its program-set. We demonstrate our two-level neuro-deductive approach on publicly available datasets ("Patent" and "Doctor's Bills") and also describe its use in a real-life industrial problem.

연구 동기 및 목표

• 최소한의 레이블링된 학습 데이터로 문서 이미지에서 구조화된 정보를 추출하는 산업적 과제를 해결한다.
• 한두 개의 예시에서 일반화할 수 있는 데이터 효율적인 정보 추출 방법을 개발한다.
• 해당 프로그램을 인간이 참여하는 보완 방식으로 보완하여 이질적 케이스에 대응할 수 있도록 한다.
• 딥 러닝 기반의 비전과 상징적 추론을 통합하여 문서 이해의 강건성과 해석 가능성 향상.
• 공개 데이터셋과 실제 산업 응용 사례에 프레임워크를 적용하여 실용적 검증을 수행한다.

제안 방법

• 사전에 학습된 딥 뉴럴 네트워크(VisionAPI)를 사용해 문서 이미지에서 엔티티와 공간 관계를 탐지하고 추출하여 관계형 데이터베이스를 구성한다.
• 시각적 및 맥락적 신호를 기반으로 엔티티 카테고리와 기본 관계(예: '위에', '아래에')를 사용해 문서 구조를 표현한다.
• 메타-규칙과 탐지된 사실을 기반으로 작업별 추출을 위한 증명을 생성하기 위해 자원 제한이 있는 메타-인터프리터를 적용한다.
• 메타-해석 학습을 통해 이러한 증명에서 재사용 가능한 논리 프로그램을 합성하여, 동일한 유형의 미사용 문서로의 일반화를 가능하게 한다.
• 각 추출된 엔티티의 최종 값을 결정하기 위해 프로그램 집합 내 여러 프로그램 간의 다수결 투표를 사용한다.
• 이질적 케이스에 대해 추가 애너테이션(1~2개 예시)을 제공하는 인간이 참여하는 보완 메커니즘을 도입하여 프로그램을 개선하고 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 레이블링 예시만을 사용하여 신호-기호 시스템이 문서 이미지에서 효과적인 일회성 정보 추출을 달성할 수 있는가?
• RQ2 메타-해석 학습을 통해 합성된 논리 프로그램이 동일한 유형의 미사용 문서로 잘 일반화되는가?
• RQ3 인간이 참여하는 보완 방식이 이질적 문서 변형에 대해 성능 향상에 얼마나 기여하는가?
• RQ4 딥 러닝과 상징적 추론의 통합이 문서 이해에서 데이터 효율성과 해석 가능성 향상에 어떻게 기여하는가?
• RQ5 제안된 프레임워크는 공개 벤치마크를 초월해 실제 산업적 문서 유형에 효과적으로 적용될 수 있는가?

주요 결과

• 공개 데이터셋(Patent 및 Doctor’s Bills)에서 문서 유형당 단일 레이블링 예시만으로도 높은 일반화 성능을 달성한다.
• 대부분의 경우, 단일 학습 예시에 더해 노이즈가 섞인 복제본이 있으면 테스트 문서에서 잘 일반화되는 프로그램 집합을 학습하는 데 충분하다.
• 다양한 합성된 프로그램 간의 다수결 투표는 엔티티 추출의 강건성과 정확도를 향상시킨다.
• 단지 한두 개의 추가 예시를 제공하는 인간이 참여하는 보완으로 이질적 케이스에서 거의 완벽한 성능을 달성할 수 있다.
• 특히 데이터 수집 비용이 높은 분야에서 데이터 효율성과 확장성 면에서 뛰어난 산업적 적용 가능성을 보여준다.
• 공학 도면 등 다른 문서 유형으로의 확장도 가능하여 광범위한 적용 가능성을 시사한다.