[論文レビュー] IIIT-AR-13K: A New Dataset for Graphical Object Detection in Documents

Ajoy Mondal, Peter Lipps+1 more|arXiv (Cornell University)|Aug 6, 2020

Handwritten Text Recognition Techniques参考文献 27被引用数 5

ひとこと要約

本稿では、多言語の年次報告書から構成される13,000ページの手動アノテーションを含む、ビジネス文書における図形的オブジェクト検出のための最大規模の手動アノテーションデータセットであるiiit-ar-13kを紹介する。Faster R-CNNおよびMask R-CNNで訓練されたモデルは、より大きな自動アノテーションデータセットで訓練されたモデルを上回り、表検出およびファインチューニングにおいて、高品質で洗練されたデータが量よりも効果的であることを示している。

ABSTRACT

We introduce a new dataset for graphical object detection in business documents, more specifically annual reports. This dataset, IIIT-AR-13k, is created by manually annotating the bounding boxes of graphical or page objects in publicly available annual reports. This dataset contains a total of 13k annotated page images with objects in five different popular categories - table, figure, natural image, logo, and signature. It is the largest manually annotated dataset for graphical object detection. Annual reports created in multiple languages for several years from various companies bring high diversity into this dataset. We benchmark IIIT-AR-13K dataset with two state of the art graphical object detection techniques using Faster R-CNN [20] and Mask R-CNN [11] and establish high baselines for further research. Our dataset is highly effective as training data for developing practical solutions for graphical object detection in both business documents and technical articles. By training with IIIT-AR-13K, we demonstrate the feasibility of a single solution that can report superior performance compared to the equivalent ones trained with a much larger amount of data, for table detection. We hope that our dataset helps in advancing the research for detecting various types of graphical objects in business documents.

研究の動機と目的

• ビジネス文書、特に年次報告書における図形的オブジェクト検出のための、大規模で多様性に富んだ手動アノテーションデータセットの不足に対処すること。
• ビジネス文書理解のための新規で高多様性のデータセットを用いて、最先端のオブジェクト検出モデル（Faster R-CNN、Mask R-CNN）をベンチマークすること。
• 洗練された小規模な手動アノテーションデータが、より大きな自動生成データセットを上回る検出精度を示すかどうかを評価すること。
• 新規の大規模で多言語のデータセットを用いて、ビジネス文書における図形的オブジェクト検出の強固なベースラインを確立すること。

提案手法

• 13,000ページの公開済み年次報告書において、表、図、自然画像、ロゴ、署名の5つの図形的オブジェクトカテゴリのバウンディングボックスを手動でアノテーションした。
• 報告書は10年以上にわたる複数の年次をカバーしており、英語、フランス語、日本語、ロシア語を含む多様な言語から29の異なる企業のデータを含み、レイアウトおよび視覚的多様性が非常に高い。
• 著者は、iiit-ar-13kデータセット上でFaster R-CNNおよびMask R-CNNを評価し、今後の研究のための強固な性能ベースラインを確立した。
• ファインチューニング実験として、大規模な自動データセット（例：PubLayNet、TableBank）で事前学習したモデルを、iiit-ar-13kからランダムに選択された1,000枚の画像でさらにファインチューニングすることで、移行性と有効性を評価した。
• 検証およびテストセットにおける標準指標（mAP、精度、再現率、F-measure）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 iiit-ar-13kのような小規模で洗練された手動アノテーションデータセットが、より大きな自動アノテーションデータセットを上回る図形的オブジェクト検出性能を示せるか？
• RQ2 iiit-ar-13kが、より大きな合成データセットで事前学習したモデルのファインチューニングデータセットとしてどれほど効果的か？
• RQ3 iiit-ar-13kに含まれるアノテーションの多様性と品質が、表やその他の図形的オブジェクトの検出における優れた一般化性能と性能向上に寄与するか？
• RQ4 iiit-ar-13kから1,000枚の画像のみを用いてファインチューニングした場合、大規模データセットで学習したモデルの性能向上はどの程度か？

主な発見

• iiit-ar-13kで唯一訓練されたモデルは、表検出においてPubLayNet（mAP 0.9886）やTableBank（mAP 0.9863）といったより大きなデータセットで訓練されたモデルよりも高いmAP（0.9555）を達成し、洗練されたデータが優れた性能をもたらすことを示している。
• PubLayNetのような大規模なデータセットで事前学習したモデルを、iiit-ar-13kから1,000枚の画像でファインチューニングしたところ、mAPが0.9882（f-trs）および0.9869（p-trs）に向上し、完全に大規模データセットで学習したモデルの性能に近いか、それを上回った。
• iiit-ar-13kで訓練されたモデルは、PubLayNetの全訓練セットでファインチューニングした場合、テストセットでmAP 0.9891を達成し、新データセットの優れた移行性と有効性を示している。
• iiit-ar-13kから1,000枚の画像でのみファインチューニングした場合、大規模データセットで事前学習したモデルはmAP ~0.988に相当する性能を達成し、新アノテーションの高いデータ効率性と品質を示している。
• 表検出におけるmAPの観点から、iiit-ar-13kデータセットはTableBank や PubLayNet といったより大きな自動アノテーションデータセットで訓練されたモデルを上回り、洗練されたデータが量よりも価値をもたらすという仮説を裏付けた。