[論文レビュー] Accurate Fine-grained Layout Analysis for the Historical Tibetan Document Based on the Instance Segmentation

Penghai Zhao, Weilan Wang+3 more|arXiv (Cornell University)|Oct 15, 2021

Handwritten Text Recognition Techniques参考文献 43被引用数 13

ひとこと要約

本論文は、くっついた線画、インクの染み、変動する文字間隔といった課題を抱える歴史的チベット語文書における細粒度のサブラインレベルレイアウト解析のため、SOLOv2を拡張したインスタンスセグメンテーションフレームワークを提案する。半自動アノテーションパイプラインの導入と、Kangyur固有の特徴に最適化されたバックボーンの採用により、独自のデータセット上で72.7%の平均精度（AP）を達成し、この細粒度レイアウトタスクにおいて最先端の性能を示した。

ABSTRACT

Accurate layout analysis without subsequent text-line segmentation remains an ongoing challenge, especially when facing the Kangyur, a kind of historical Tibetan document featuring considerable touching components and mottled background. Aiming at identifying different regions in document images, layout analysis is indispensable for subsequent procedures such as character recognition. However, there was only a little research being carried out to perform line-level layout analysis which failed to deal with the Kangyur. To obtain the optimal results, a fine-grained sub-line level layout analysis approach is presented. Firstly, we introduced an accelerated method to build the dataset which is dynamic and reliable. Secondly, enhancement had been made to the SOLOv2 according to the characteristics of the Kangyur. Then, we fed the enhanced SOLOv2 with the prepared annotation file during the training phase. Once the network is trained, instances of the text line, sentence, and titles can be segmented and identified during the inference stage. The experimental results show that the proposed method delivers a decent 72.7% average precision on our dataset. In general, this preliminary research provides insights into the fine-grained sub-line level layout analysis and testifies the SOLOv2-based approaches. We also believe that the proposed methods can be adopted on other language documents with various layouts.

研究の動機と目的

• 歴史的チベット語文書、特にKangyurにおいて、くっついた構成要素、インクの染み、変動する文字間隔といった課題を抱える細粒度レイアウト解析手法の不足に対処すること。
• 累積誤差を低減するため、テキストラインセグメンテーションを段階的に適用する従来のレイアウト解析パイプラインの限界を克服すること。
• 半自動アノテーションと手動での補正を組み合わせた動的で正確なデータセット構築法を開発し、複雑な文書レイアウトのラベル付けを加速すること。
• Kangyur固有の視覚的特徴に適応させたバックボーンをSOLOv2に組み込むことで、歴史的チベット語文書画像における性能を向上させること。
• 後処理を伴わず、エンドツーエンドで正確なサブラインレベルのインスタンスセグメンテーションを実現し、下流の認識タスクへの直接的利用を可能にすること。

提案手法

• 従来のテキストラインセグメンテーションと手動補正を組み合わせた半自動アノテーションパイプラインを用い、10クラス（line1 から line8、ltitle、rtitle）の細粒度でラインレベルのアノテーションを生成した。
• 歴史的チベット語文書の斑点模様の背景、くっついた線画、褪色した文字を効果的に捉えるために、バックボーンアーキテクチャを変更することでSOLOv2インスタンスセグメンテーションネットワークを強化した。
• 入力解像度2496×800と「10-4」の輪郭タイプ（10倍の膨張、4倍の収縮）を用い、最適なパフォーマンスを得るために構築したデータセット上で、強化されたSOLOv2をエンドツーエンドで学習させた。
• 前処理や後処理戦略を一切適用せず、モデルが生の文書画像から直接セグメンテーションを学ぶようにした。
• モデルは、サブラインレベルでのテキストライン、文、見出しのインスタンスマスクとクラスラベルを予測し、重なっているかくっついた構成要素の正確な分離を可能にした。
• 性能評価には平均精度（AP）、AP50、AP75、およびバイオリンプロットを用い、IoU閾値ごとの頑健性と一貫性を評価した。

実験結果

リサーチクエスチョン

• RQ1 インスタンスセグメンテーションに基づくアプローチは、インクの染みやくっついた線画といった複雑な視覚的アーティファクトを有する歴史的チベット語文書において、正確なサブラインレベルのレイアウト解析を達成できるか？
• RQ2 半自動アノテーションパイプラインは、希少言語の歴史的文書に対して、細粒度でラインレベルのアノテーションを迅速に作成するのにどの程度効果的か？
• RQ3 標準のインスタンスセグメンテーションモデルと比較して、専用のバックボーンを備えたSOLOv2の強化は、Kangyurデータセット上で性能を向上させるか？
• RQ4 Mask R-CNN、YOLACT、SOLOと比較して、提案手法は、困難なレイアウト構成においてAPと頑健性の面でどの程度優れているか？
• RQ5 本手法は、チベット語文書のみで学習されたにもかかわらず、他の複雑なレイアウトを有する言語にも一般化可能か？

主な発見

• 入力解像度2496×800と「10-4」の輪郭タイプを用いた場合、PKLADテストセットで72.7%の平均精度（AP）を達成し、比較したすべての手法を上回った。
• X-101-HRFPNバックボーンを備えた強化されたSOLOv2は、72.7%のAP、93.6%のAP50、84.6%のAP75を達成し、Mask R-CNN、YOLACT、SOLOと比較して優れた性能と頑健性を示した。
• バイオリンプロット分析から、提案手法のAP値はSOLOv2よりも集中しており、異なるIoU閾値における頑健性が優れていることが示された。
• 視覚的結果から、モデルがくっついた構成要素を正確にセグメンテーションし、インクの染みや歪んだ線画が存在する中でも、テキストエッジに正確に従う輪郭を維持していることが確認された。
• ラテン文字をテキスト領域として誤分類するのを回避し、複雑なレイアウト状況下でも強い一般化能力を示した。
• 失敗事例として、視覚的明瞭性を犠牲にしてセグメンテーション精度を高めるために可視化閾値を低くした結果、部分的な誤分離や欠落成分が生じた。