[논문 리뷰] Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering

Wenjin Wang, Yunhao Li외 2명|arXiv (Cornell University)|2023. 06. 01.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 OCR 출력물에서 추출한 레이아웃 정보를 공백과 줄 바꿈을 통해 인코딩함으로써, 프롬프트 기반의 지시 조정된 모델인 Claude와 ChatGPT가 미세조정 없이도 문서 레이아웃을 이해할 수 있도록 하는 ZERO-SHOT 문서 이미지 질의 응답 방법인 LATIN-Prompt을 제안한다. 이는 미세조정된 SOTA 모델 수준의 ZERO-SHOT 성능을 달성하며, Claude의 경우 DocVQA에서 263% 향상되었고, Alpaca의 경우 LATIN-Tuning을 사용해 87.7% 향상되었다.

ABSTRACT

Layout-aware pre-trained models has achieved significant progress on document image question answering. They introduce extra learnable modules into existing language models to capture layout information within document images from text bounding box coordinates obtained by OCR tools. However, extra modules necessitate pre-training on extensive document images. This prevents these methods from directly utilizing off-the-shelf instruction-tuning language foundation models, which have recently shown promising potential in zero-shot learning. Instead, in this paper, we find that instruction-tuning language models like Claude and ChatGPT can understand layout by spaces and line breaks. Based on this observation, we propose the LAyout and Task aware Instruction Prompt (LATIN-Prompt), which consists of layout-aware document content and task-aware instruction. Specifically, the former uses appropriate spaces and line breaks to recover the layout information among text segments obtained by OCR tools, and the latter ensures that generated answers adhere to formatting requirements. Moreover, we propose the LAyout and Task aware Instruction Tuning (LATIN-Tuning) to improve the performance of small instruction-tuning models like Alpaca. Experimental results show that LATIN-Prompt enables zero-shot performance of Claude and ChatGPT to be comparable to the fine-tuning performance of SOTAs on document image question answering, and LATIN-Tuning enhances the zero-shot performance of Alpaca significantly. For example, LATIN-Prompt improves the performance of Claude and ChatGPT on DocVQA by 263% and 20% respectively. LATIN-Tuning improves the performance of Alpaca on DocVQA by 87.7%. Quantitative and qualitative analyses demonstrate the effectiveness of LATIN-Prompt and LATIN-Tuning. We provide the code in supplementary and will release it to facilitate future research.

연구 동기 및 목표

• 미세조정 없이도 상용 지시 조정된 언어 모델을 사용해 ZERO-SHOT 문서 이미지 질의 응답을 가능하게 하기.
• 기존의 레이아웃 인식 모델이 문서 이미지에서 광범위한 사전 훈련이 필요로 하는 한계를 해결하기.
• 지시 조정된 모델이 좌표 기반 임베딩 대신 공백(공백과 줄 바꿈)을 통해 레이아웃을 이해할 수 있는지 탐색하기.
• Alpaca와 같은 소규모 지시 조정된 모델의 레이아웃 이해 능력을 향상시키기 위해 대상 지시 조정 테크닉을 적용하기.
• 비용이 많이 들지 않는 사전 훈련을 피하고, 폐쇄 소스 및 대규모 오픈소스 LLM과 호환 가능한 방법 개발하기.

제안 방법

• LATIN-Prompt는 OCR로 추출한 텍스트 세그먼트 사이에 적절한 공백과 줄 바꿈을 삽입하여 공간적 레이아웃을 인코딩함으로써 레이아웃 인식 문서 콘텐츠를 구성한다.
• 모델이 요구하는 형식(예: 스파니쉬 또는 목록)으로 답변을 생성하도록 유도하기 위해 작업 인식 지시 프롬프트를 통합한다.
• Claude와 ChatGPT와 같은 지시 조정된 모델이 공백을 통해 레이아웃을 해석하는 본질적 능력을 활용하여 좌표 기반 모듈이 필요 없도록 한다.
• Alpaca와 같은 소규모 지시 조정된 모델의 성능을 향상시키기 위해, CSV 테이블을 공백과 줄 바꿈으로 인코딩한 문자열로 변환한 합성 지시 조정 데이터를 생성하는 LATIN-Tuning을 도입한다.
• 이 방법은 시각적 입력 사용과 수직적 관계를 가지며, 저자들은 DocVQA, InfographicVQA, MP-DocVQA에서 이를 검증한다.
• 레이아웃 및 작업 구성 요소의 기여도를 입증하기 위해 추론 분석 및 케이스 분석을 통해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 Claude와 ChatGPT와 같은 지시 조정된 언어 모델이 공백과 줄 바꿈만으로도 문서 레이아웃을 이해할 수 있는가?
• RQ2 공백 인코딩을 사용하는 프롬프트 기반 방법이 문서 이미지 질의 응답에서 미세조정된 SOTA 모델 수준의 ZERO-SHOT 성능을 달성할 수 있는가?
• RQ3 LATIN-Tuning은 Alpaca와 같은 소규모 지시 조정된 모델의 레이아웃 이해 능력을 얼마나 효과적으로 향상시키는가?
• RQ4 LATIN-Prompt의 전체 성능에서 레이아웃 인식 콘텐츠와 작업 인식 지시의 상대적 기여도는 어떠한가?
• RQ5 기초 LLM의 크기와 능력이 이 설정에서 ZERO-SHOT 성능과 상관관계가 있는가?

주요 결과

• LATIN-Prompt는 Claude의 DocVQA ZERO-SHOT 성능을 순수 프롬프트 대비 263% 향상시켜, 미세조정된 SOTA 모델 수준의 성능에 도달했다.
• ChatGPT의 DocVQA ZERO-SHOT 성능은 LATIN-Prompt를 통해 20% 향상되었으며, 이 역시 미세조정된 SOTA 수준에 도달했다.
• LATIN-Tuning은 Alpaca의 DocVQA ZERO-SHOT 성능을 87.7% 향상시켜, 레이아웃 이해 능력이 크게 향상되었다.
• 추론 분석 결과, 레이아웃 인식 콘텐츠와 작업 인식 지시 모두 필수적이며, 특히 Claude의 성능 향상에서 작업 지시의 기여도가 더 크다는 것이 확인되었다.
• MP-DocVQA에서는 미세조정된 베이스라인 모델인 Longformer와 Big Bird를 초월했으며, InfographicVQA에서는 TILT를 제외한 대부분의 미세조정 모델을 뛰어넘었다.
• LATIN-Tuning의 성능은 지시 조정 데이터가 많을수록 향상되지만, 2000개 샘플을 초과하면 성능 향상 폭이 둔화된다.