[論文レビュー] LEAF-QA: Locate, Encode & Attend for Figure Question Answering

Ritwick Chaudhry, Sumit Shekhar+4 more|arXiv (Cornell University)|Jul 30, 2019

Multimodal Machine Learning Applications参考文献 29被引用数 12

ひとこと要約

本稿では、250,000枚の密にアノテートされたチャートと200万件のQAペアを備えた大規模で現実世界のデータセットであるLEAF-QAを紹介するとともに、チャート要素を局所化し、それらの要素に基づいて質問と回答を符号化し、マルチモーダル推論に注意メカニズムを用いる新しいアーキテクチャであるLEAF-Netを提案する。LEAF-NetはFigureQAおよびDVQAの両ベンチマークで最先端の性能を達成しており、特に複雑な推論や未知語彙の回答に対して顕著に優れている。

ABSTRACT

We introduce LEAF-QA, a comprehensive dataset of $250,000$ densely annotated figures/charts, constructed from real-world open data sources, along with ~2 million question-answer (QA) pairs querying the structure and semantics of these charts. LEAF-QA highlights the problem of multimodal QA, which is notably different from conventional visual QA (VQA), and has recently gained interest in the community. Furthermore, LEAF-QA is significantly more complex than previous attempts at chart QA, viz. FigureQA and DVQA, which present only limited variations in chart data. LEAF-QA being constructed from real-world sources, requires a novel architecture to enable question answering. To this end, LEAF-Net, a deep architecture involving chart element localization, question and answer encoding in terms of chart elements, and an attention network is proposed. Different experiments are conducted to demonstrate the challenges of QA on LEAF-QA. The proposed architecture, LEAF-Net also considerably advances the current state-of-the-art on FigureQA and DVQA.

研究の動機と目的

• 既存の図表QAデータセットが限定的な語彙と固定テンプレートに依存する合成データに依存するという限界を克服するため、多様で自然な質問を含む大規模で現実世界のデータセットを構築すること。
• 政府の国勢調査や財務報告書などのオープンで現実世界のデータソースから得たデータセットを構築することで、強固で一般化可能な図表質問応答を可能にすること。
• 未知語彙の回答やチャート要素に対する複雑な推論を処理できる深層学習フレームワークを開発し、二値または固定語彙の回答空間を超えること。
• 未確認のデータソースから抽出された新しいテストセットを用いてモデルの一般化能力を評価し、現実世界での展開に伴う課題を模擬すること。

提案手法

• LEAF-Netは、チャート要素（タイトル、軸、凡例、データポイントなど）をバウンディングボックスまたはマスクで局所化・分離するためにMask R-CNNを用いる。
• 質問と回答を検出されたチャート要素に基づいて符号化することで、自然言語クエリを視覚的コンポーネントに意味論的に対応付ける。
• 局所化された要素からの視覚的特徴と符号化された質問・回答表現を、注意メカニズムを用いて統合し、エンドツーエンドの推論を実現する。
• テンプレート記憶の防止を目的として、質問テンプレートの言い換えを用いたデータ拡張を伴い、LEAF-QAでモデルを学習する。
• 評価のため、正解ボックスとチャート固有の文字列符号化を用いて、DVQAおよびFigureQAでファインチューニングを行う。両方の設定でオラクルとOCRベースのテキスト抽出を実施する。
• アブレーションスタディでは、要素の局所化、OCRの正確性、回答符号化の影響が全体の性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 多様で未確認の語彙と複雑な視覚的レイアウトを有する現実世界の図表に対して、マルチモーダルQAモデルは一般化可能か？
• RQ2 エンドツーエンドの視覚的・言語的モデルと比較して、チャート要素の局所化と意味論的符号化は、図表上の推論をどのように向上させるか？
• RQ3 質問の言い換えとテンプレートベースのデータ生成の回避は、モデルの頑健性と一般化能力をどの程度向上させるか？
• RQ4 提案されたアーキテクチャは、現実世界の図表QAにおける主要な課題である未知語彙の回答に対して、どの程度の性能を示すか？

主な発見

• DVQAテストセットにおいてLEAF-Netは全体で72.72%の精度を達成し、以前の最先端モデルSANDY（56.48%）を顕著に上回った。
• FigureQAデータセットではLEAF-Netが81.15%の精度を達成し、以前の最先端モデルであるCNN+LSTM（56.16%）とRelation Net（72.54%）を上回った。
• モデルは新規のテストセット（全体で61.33%の精度）においても高い性能を維持しており、未確認のデータソースへの一般化能力が顕著に示された。
• ほとんどのカテゴリにおいてテキスト要素検出の精度と再現率が高く、タイトルと軸ラベルの検出ではそれぞれ99%以上の精度と98%以上の再現率を達成した。
• 局所化されたテキスト抽出のおかげで、LEAF-NetにおけるOCR性能は従来のモデルと比較して顕著に向上しており、オラクル性能からわずかに低下するにとどまった。
• アブレーションスタディにより、チャート要素の符号化と注意メカニズムが、複雑な推論と未知語彙の回答処理において不可欠であることが確認された。