[論文レビュー] ICDAR 2019 Competition on Image Retrieval for Historical Handwritten Documents

Vincent Christlein, Anguelos Nicolaou+3 more|arXiv (Cornell University)|Dec 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 35

ひとこと要約

大規模な歴史文書の作家検索の評価。手稿、書簡、特許状を横断する20,000画像、10,000人の作家を用い、深層学習を用いない手法が競争力を持つことを示し、SIFT+Pathletが最高性能を達成。

ABSTRACT

This competition investigates the performance of large-scale retrieval of historical document images based on writing style. Based on large image data sets provided by cultural heritage institutions and digital libraries, providing a total of 20 000 document images representing about 10 000 writers, divided in three types: writers of (i) manuscript books, (ii) letters, (iii) charters and legal documents. We focus on the task of automatic image retrieval to simulate common scenarios of humanities research, such as writer retrieval. The most teams submitted traditional methods not using deep learning techniques. The competition results show that a combination of methods is outperforming single methods. Furthermore, letters are much more difficult to retrieve than manuscripts.

研究の動機と目的

• 歴史的文書における作家検索を促進し、実践的な検索ベンチマークを通じて大規模な人文科学研究を可能にする。
• 手稿、手紙、特許状などを含む10,000人の作家からの20,000枚の文書画像の公開データセットを提供する。
• 多様でノイズの多い歴史的データに対して、非深層学習および限定的な機械学習アプローチの作家検索を評価する。

提案手法

• 公開の20,000画像テストセットを用い、7,500人の単ページ作家と12,500ページの多ページ作家を含むことで作家検索タスクを模擬する。
• 距離ベースの検索フレームワークを用いて、3チームからの9件の提出と、以前の手法の2つのベースラインバリアントを評価する。
• 画像を手作業特徴量（LBP、SIFTベースのFisher Vector、Pathlet）と単純な分類器または距離尺度で表現する。基準結果を支配する完全な深層学習モデルはない。
• 周辺を切り抜く前処理と、画像を均一な寸法にリサイズして、つまらないハッシュ攻撃やダウンロード効率を抑制する。
• テストセットで leave-one-image-out クロスバリデーションを用いてmean Average Precision（mAP）と Top-1 精度を算出する。

実験結果

リサーチクエスチョン

• RQ1 大規模な歴史データセットに対する従来型（非深層学習）の作家検索手法の性能はどの程度か。
• RQ2 特徴量タイプ（テクスチャベースのLBP、SIFTベースのFisher Vector、Pathlet）とそれらの組み合わせが、異なる文書タイプに対する作家検索でどのように機能するか。
• RQ3 手稿と書簡の間、およびデータセットのサブセット（MSS、Letters A/B、Charters）間で検索の難易度は異なるか。

主な発見

• SCUTチームは、SIFTとPathlet特徴の組み合わせを用いて、全テストセットで最高のmAP（90.6%）を達成した。
• 全体で最良の結果は、SIFT+Pathletの組み合わせで、全データセットでmAP 92.5%、Top-1精度 97.4% だった。
• ベースラインのSRS-LBP系は堅調な結果を示した（mAP 84.0–86.8%、時にはより複雑な手法に対抗）。
• 従来の手法（例：Hinge、Co-Hinge、oBIFs）は競争力のあるmAP（約75–85%）を達成し、非ニューラル手法が依然有効であることを示している。
• 書簡は手稿よりはるかに検索が難しく、Letters Aサブセットでは特に性能が低く（mAP 約45–47%）である。
• 全体として、ニューラルネットワークベースの検索手法がこの競技で支配的とはならず、前処理にCNNベースの二値化を用いた提出が1件あった。