[논문 리뷰] LEAF-QA: Locate, Encode & Attend for Figure Question Answering

Ritwick Chaudhry, Sumit Shekhar외 4명|arXiv (Cornell University)|2019. 07. 30.

Multimodal Machine Learning Applications참고 문헌 29인용 수 12

한 줄 요약

이 논문은 250,000개의 밀도 높은 주석이 부여된 차트와 200만 개의 QA 쌍을 포함하는 대규모 실세계 데이터셋 LEAF-QA를 소개하고, 차트 요소를 국소화하고 질문 및 답변을 이러한 요소를 기반으로 인코딩하며 다중모달 추론을 위해 주의 메커니즘을 사용하는 새로운 아키텍처인 LEAF-Net을 제안한다. LEAF-Net은 FigureQA 및 DVQA에서 최신 기술 수준을 상당히 뛰어넘는 성능을 달성하였으며, 특히 복잡한 추론과 보편어 외 단어 답변에 대해 뛰어난 성능을 보였다.

ABSTRACT

We introduce LEAF-QA, a comprehensive dataset of $250,000$ densely annotated figures/charts, constructed from real-world open data sources, along with ~2 million question-answer (QA) pairs querying the structure and semantics of these charts. LEAF-QA highlights the problem of multimodal QA, which is notably different from conventional visual QA (VQA), and has recently gained interest in the community. Furthermore, LEAF-QA is significantly more complex than previous attempts at chart QA, viz. FigureQA and DVQA, which present only limited variations in chart data. LEAF-QA being constructed from real-world sources, requires a novel architecture to enable question answering. To this end, LEAF-Net, a deep architecture involving chart element localization, question and answer encoding in terms of chart elements, and an attention network is proposed. Different experiments are conducted to demonstrate the challenges of QA on LEAF-QA. The proposed architecture, LEAF-Net also considerably advances the current state-of-the-art on FigureQA and DVQA.

연구 동기 및 목표

• 기존 차트 QA 데이터셋이 제한된 어휘와 고정 템플릿을 사용하는 합성 데이터에 의존하는 한계를 해결하기 위해, 다양한 자연스러운 질문을 포함한 대규모 실세계 데이터셋을 구축한다.
• 정부 인구 조사 및 재무 보고서와 같은 개방형 실세계 데이터 소스에서 데이터셋을 구성하여 강건하고 일반화 가능한 그림 질문 응답을 가능하게 한다.
• 보편어 외 답변과 차트 요소에 대한 복잡한 추론을 다룰 수 있는 딥 러닝 프레임워크를 개발하여, 이진 또는 고정 어휘 공간을 넘어서는 것을 목표로 한다.
• 실세계 배포 도전 과제를 시뮬레이션하기 위해, 알려지지 않은 데이터 소스에서 유래한 새로운 테스트 세트를 사용하여 모델 일반화 능력을 평가한다.

제안 방법

• LEAF-Net은 Mask R-CNN을 사용하여 차트 요소(예: 제목, 축, 범례, 데이터 포인트)를 경계 상자 또는 마스크로 국소화하고 분할한다.
• 질문과 답변을 검출된 차트 요소를 기반으로 인코딩하여 자연어 질의를 시각적 구성 요소에 의미론적으로 기반시키는 것을 가능하게 한다.
• 지역화된 요소에서 유도된 시각적 특징과 인코딩된 질문 및 답변 표현을 주의 메커니즘을 통해 융합하여 엔드 투 엔드 추론을 수행한다.
• 모델은 템플릿 기반 기억 방지를 방지하기 위해 질문 템플릿의 어휘 다양화를 통한 데이터 증강 기법을 사용하여 LEAF-QA에서 훈련된다.
• 평가를 위해, 모델은 Ground-truth 박스와 차트 전용 문자 인코딩을 사용하여 DVQA 및 FigureQA에서 미세조정되며, 오라클 및 OCR 기반 텍스트 추출 방식을 모두 사용한다.
• 제거 분석을 통해 요소 국소화, OCR 정확도, 답변 인코딩이 전체 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 알려지지 않은 어휘와 복잡한 시각적 레이아웃을 가진 실세계 차트에 대해 다중모달 QA 모델이 일반화할 수 있는가?
• RQ2 엔드 투 엔드 시각-언어 모델에 비해 차트 요소 국소화 및 의미론적 인코딩이 차트에 대한 추론을 어떻게 향상시키는가?
• RQ3 질문을 다양화하고 템플릿 기반 데이터 생성을 피하는 것이 모델의 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 아키텍처는 실세계 차트 QA의 핵심 과제인 보편어 외 답변에 대해 어떻게 성능을 발휘하는가?

주요 결과

• DVQA 테스트 세트에서 LEAF-Net은 전체 정확도 72.72%를 달성하여 이전 최신 기술 수준인 SANDY 모델(56.48%)을 크게 뛰어넘었다.
• FigureQA 데이터셋에서 LEAF-Net은 정확도 81.15%를 기록하여 이전 최신 기술 수준인 CNN+LSTM(56.16%)과 Relation Net(72.54%)를 초월했다.
• 모델은 새로운 테스트 세트에서도 높은 성능(전체 정확도 61.33%)을 유지하여 알려지지 않은 데이터 소스로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 대부분의 카테고리에서 텍스트 요소 검출의 정밀도와 재현율이 높았으며, 제목 및 축 레이블 검출의 정밀도는 99% 이상, 재현율은 98% 이상을 기록했다.
• 지역화된 텍스트 추출 덕분에 LEAF-Net에서 OCR 성능이 이전 모델보다 크게 향상되었으며, 오라클 성능에 비해 약간의 감소만을 보였다.
• 제거 분석을 통해 차트 요소 인코딩과 주의 메커니즘이 복잡한 추론과 보편어 외 답변을 다루는 데 핵심적인 역할을 한다는 것이 확인되었다.