[논문 리뷰] Intelligent Document Processing -- Methods and Tools in the real world

Graham A. Cutting, Anne-Françoise Cutting-Decelle|arXiv (Cornell University)|2021. 12. 28.

Currency Recognition and Detection인용 수 9

한 줄 요약

이 논문은 실무 중심의 산업 분석을 통해 지능형 문서 처리(IDP)를 다루며, 실제 영수증 및 양식에서 OCR, 문서 분류, 데이터 추출 기능을 갖춘 상용 도구를 평가한다. 현재 시스템의 한계—특히 표 처리에 있어서의 한계—를 입증하면서도, 산업 현장에서 요구하는 100% 정확도와 연구 분야의 최첨단 AI 기술 간의 괴리를 드러내며, 상용 개발 주기와 학술 연구의 진전 간의 일치 여부에 의문을 제기한다.

ABSTRACT

The originality of this publication is to look at the subject of IDP (Intelligent Document Processing) from the perspective of an end-user and industrialist and not that of a Computer Science researcher. This domain is one part of the challenge of information digitalisation that constitutes the Industrial Revolution of the twenty first century (Industry 4.0) and this paper looks specifically at the difficult areas of classifying, extracting information and subsequent integration into business processes with respect to forms and invoices. Since the focus is on practical implementation a brief review is carried out of the market in commercial tools for OCR, document classification and data extraction in so far as this is publicly available together with pricing (if known). Brief definitions of the main terms encountered in Computer Science publications and commercial prospectuses are provided in order to de-mystify the language for the layman. A small number of practical tests are carried out on a few real documents in order to illustrate the capabilities of tools that are commonly available at a reasonable price. The unsolved (so far) issue of tables contained in invoices is raised. The case of a typical large industrial company is evoked where the requirement is to extract 100 per cent of the information with 100 per cent reliability in order to integrate into the back-end Enterprise Resource Planning system. Finally a brief description is given of the state-of-the-art research by the huge corporations who are pushing the boundaries of deep learning techniques further and further with massive computing and financial power - progress that will undoubtedly trickle down into the real world at some later date. The paper finishes by asking the question whether the objectives and timing of the commercial world and the progress of Computer Science are fully aligned.

연구 동기 및 목표

• 기업 환경에 실질적으로 구현 가능한 상용 IDP 도구의 평가를 목적으로 한다.
• 특히 표 인식에 어려움을 겪는 영수증 및 양식에서의 정보 추출 과제를 해결하고자 한다.
• 딥 러닝 분야의 학술 연구와 산업 현장에서 요구하는 100% 정확도와 신뢰성 간 격을 메우고자 한다.
• 비연구자인 비즈니스 및 IT 담당자들이 이해하기 쉽게 기술 용어를 명확히 정의하고자 한다.
• IDP 출력 결과가 ERP 시스템에 완전한 신뢰성으로 통합 가능한지의 가능성을 평가하고자 한다.

제안 방법

• 저렴한 상용 IDP 도구를 활용해 실제 문서를 대상으로 실습 테스트를 수행한다.
• 공개된 시장 데이터를 검토하여 OCR, 분류, 데이터 추출 도구의 성능과 가격(해당 시)을 분석한다.
• 연구 및 상용 문헌에서 흔히 사용되는 기술 용어의 명확한 정의를 제공한다.
• 추출된 데이터의 엔드 투 엔드 통합을 기업의 백엔드 시스템(예: ERP)에 중점을 두고 분석한다.
• 특히 영수증 내 표와 같은 복잡한 문서 레이아웃에서 도구 성능을 벤치마킹한다.
• 산업 현장의 요구사항과 딥 러닝 연구 분야의 현재 최첨단 기술 수준를 대비하여 분석한다.

실험 결과

연구 질문

• RQ1 실제 영수증 및 양식에서 상용 IDP 도구가 데이터 추출에 얼마나 효과적인가?
• RQ2 현재 IDP 시스템의 핵심 제약 요소는 무엇이며, 특히 표 인식에 있어 어떤 문제가 있는가?
• RQ3 대규모 산업 기업의 성능 요구사항이 현재 AI 연구의 능력과 얼마나 일치하는가?
• RQ4 딥 러닝 분야의 상용 도구와 학술 연구 간 개발 주기와 목표는 어떻게 다를까?
• RQ5 저렴한 오픈형 IDP 도구가 엔드 투 엔드 ERP 통합에 있어 100% 정확도와 신뢰성을 달성할 수 있는가?

주요 결과

• 현재 상용 IDP 도구는 영수증 내 표 추출에 있어 심각한 어려움을 겪고 있으며, 이는 해결되지 않은 주요 과제이다.
• 고도로 발전된 도구를 사용하더라도, 실무 환경에서 ERP 시스템에 완전한 데이터 통합을 위해 100% 정확도와 신뢰성을 확보하는 것은 아직 이뤄지지 않았다.
• 산업 현장의 요구사항과 딥 러닝 연구 분야의 최신 기술 간 격차는 크며, 산업 수요가 기술의 발전을 앞서가고 있다.
• 시장에 존재하는 도구들은 가격과 성능 면에서 다양하지만, 대규모 및 임무 핵심 문서 처리 요구사항을 완전히 충족시키지 못하고 있다.
• 연구 및 상용 문서에서 사용하는 언어와 용어는 비전문가가 실질적인 이해를 내리기 어렵게 만든다.
• 대규모 기업에서 진행하는 최첨단 연구는 급속도로 발전하고 있지만, 이는 근래에는 산업 사용자에게까지 퍼져나올 가능성이 낮다.