[論文レビュー] ICFHR 2020 Competition on Image Retrieval for Historical Handwritten Fragments

Mathias Seuret, Anguelos Nicolaou+3 more|arXiv (Cornell University)|Oct 20, 2020

Handwritten Text Recognition Techniques参考文献 14被引用数 4

ひとこと要約

本論文は、歴史的手書き断片の画像検索をテーマとしたICFHR 2020コンペティションを提示し、20,000件の文書から9,800人の著者にわたる120,000枚を超える断片を含む大規模データセットを紹介している。コンペティションでは、深層学習および自己教師ありモデルを用いた著者およびページ断片検索手法の評価が行われ、優勝エントリは自己教師あり記述子学習を用いてmAPが40％未満を達成した。これは、歴史的文書分析における小規模で不規則な断片の検索が依然として大きな挑戦であることを示している。

ABSTRACT

This competition succeeds upon a line of competitions for writer and style analysis of historical document images. In particular, we investigate the performance of large-scale retrieval of historical document fragments in terms of style and writer identification. The analysis of historic fragments is a difficult challenge commonly solved by trained humanists. In comparison to previous competitions, we make the results more meaningful by addressing the issue of sample granularity and moving from writer to page fragment retrieval. The two approaches, style and author identification, provide information on what kind of information each method makes better use of and indirectly contribute to the interpretability of the participating method. Therefore, we created a large dataset consisting of more than 120 000 fragments. Although the most teams submitted methods based on convolutional neural networks, the winning entry achieves an mAP below 40%.

研究の動機と目的

• 文化的遺産応用を念頭に、特にコデックスにおける縁書きの注釈や文中注記の検索という課題に取り組むこと。
• データセットの規模を拡大することで、以前のコンペティションを上回る検索精度を実現し、著者識別から断片レベルの検索に焦点を移すこと。
• 著者ベースとページベースの検索タスクにおける解釈可能性および性能の違いを評価すること。
• 半自動的断片化技術を用いて、歴史的文書画像検索のための公開可能な大規模ベンチマークデータセットを構築すること。
• 深層学習モデル、自己教師あり学習、および従来の手法が、小規模で不規則な断片に対してどれほど効果的であるかを比較すること。

提案手法

• ダイヤモンド・スクエア法に基づく半自動的断片化パイプラインにより、高解像度の文書画像からランダム形状および長方形形状の断片が生成される。
• ランダム形状の断片は、マージンしきい値を用いてダイヤモンド・スクエアの高さマップを二値化することで生成される。
• 長方形断片は、水平および垂直方向に沿って非線形かつ前進的な多角形チェーンを用いて生成され、自然な切断を模倣する。
• データセットには、約20,000件の文書から得られた120,000枚以上の断片が含まれており、著者数は9,800人で、訓練・検証・テストに分割されている。
• 4つのチームが手法を提出し、二パスネットワーク、自己教師ありResNet20、およびベースラインSIFTベースの検索を含む。評価指標はmAP、Pr@10、Pr@100。
• 断片サイズ（有効ピクセル数）、形状タイプ（ランダム対長方形）、タスクタイプ（著者対ページ検索）ごとの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 さまざまな深層学習アーキテクチャは、小規模で不規則な歴史的手書き断片の検索において、どのように性能を発揮するか？
• RQ2 自己教師ありモデルと著者教師ありモデルは、断片の種類やサイズにわたる一般化能力において、どの程度異なるか？
• RQ3 断片の形状およびピクセル密度が、さまざまな手法における検索性能に顕著に影響を与えるか？
• RQ4 著者ラベルがなくても自己教師あり学習が競争力のある結果を達成できるか、また、教師ありアプローチと比較してどうなるか？
• RQ5 SIFTベースの従来手法は、この断片レベル検索タスクにおいて、現代の深層学習モデルと比べてどの程度優れているか？

主な発見

• 優勝手法である自己教師あり記述子学習（ResNet20_ssl）は、ページ断片検索タスクで他の手法を上回り、最高のmAPおよびトップ1正答率を達成した。
• 著者ラベルで訓練されたTwoPathモデル（TwoPath_writer）は、ページ検索用に訓練されたTwoPathモデル（TwoPath_page）を上回った。これは、著者監視が一般化性能を向上させることを示している。
• 小規模な断片（10,000〜100,000有効ピクセル）ではTwoPathモデルが優れた性能を示したが、より大きな近似長方形断片ではResNet20_sslがそれらを上回った。
• SIFTキーポoinトに依存する手法は、背景の干渉のため低性能に終わったと考えられ、ベースライン手法はトップエントリに近く、強く性能を発揮した。
• 長方形断片は、ピクセル密度が0.60（ランダム断片は0.35）と高く、すべての手法で顕著に優れた結果を示した。これは、形状とコンテンツ密度が検索成功の強力な予測要因であることを示している。
• どの手法もすべての断片サイズで優勢ではなかったため、モデルの融合によってさらなる性能向上が得られる可能性がある。