[論文レビュー] Neural Word Search in Historical Manuscript Collections

Tomas Wilkinson, Jonas Lindström+1 more|arXiv (Cornell University)|Dec 6, 2018

Handwritten Text Recognition Techniques参考文献 78被引用数 5

ひとこと要約

この論文では、歴史的手稿におけるセグメンテーションフリーなクエリ・バイ・ストリング・ワードスティングのための深層学習モデル、Ctrl-F-Netを紹介する。このモデルは、一括された埋め込み空間に領域候補を同時に生成し、効率的な検索を可能にする。わずか11ページのデータで学習されたこのモデルは、10万ページを超える大規模な歴史的資料の研究を可能にし、データ収集を桁違いに高速化し、ベンチマークデータセットにおいて先行する最先端手法を上回る性能を示した。

ABSTRACT

We address the problem of segmenting and retrieving word images in collections of historical manuscripts given a text query. This is commonly referred to as "word spotting". To this end, we first propose an end-to-end trainable model based on deep neural networks that we dub Ctrl-F-Net. The model simultaneously generates region proposals and embeds them into a word embedding space, wherein a search is performed. We further introduce a simplified version called Ctrl-F-Mini. It is faster with similar performance, though it is limited to more easily segmented manuscripts. We evaluate both models on common benchmark datasets and surpass the previous state of the art. Finally, in collaboration with historians, we employ the Ctrl-F-Net to search within a large manuscript collection of over 100 thousand pages, written across two centuries. With only 11 training pages, we enable large scale data collection in manuscript-based historical research. This results in a speed up of data collection and the number of manuscripts processed by orders of magnitude. Given the time consuming manual work required to study old manuscripts in the humanities, quick and robust tools for word spotting has the potential to revolutionise domains like history, religion and language.

研究の動機と目的

• 大規模で手書きの歴史的手稿コレクションから特定の語を手作業で検索するという課題に対処すること。これは時間のかかる作業であり、研究の範囲を制限する要因となる。
• 手作業による個々の語のセグメンテーションやトランスクリプションを必要としない、スケーラブルなディープラーニングベースのワードスティング解決策を開発すること。
• テキストクエリのみを用いて、未加工でノイズの多い手稿コレクション内の関連するテクスト断片を歴史家が効率的に特定できるようにすること。
• 限られた学習データで学習されたモデルが、言語外語（OOV）語に対してもゼロショット検索が可能であることを示すこと。
• 2世紀にわたる64巻にわたる未探索の手稿コレクションを用いて、実世界の歴史的研究にこの手法を適用し、妥当性を検証すること。

提案手法

• 提案されたCtrl-F-Netモデルは、類似性に基づく検索のための共有埋め込み空間に、領域候補を同時に生成し、埋め込むための深層畳み込みニューラルネットワークを用いる。
• 領域候補は、Faster R-CNN風のバックボーンを経て生成され、その後、各領域を密なベクトル表現にマップする共有埋め込みヘッドが適用される。
• モデルは、関連する語の領域が不関係な領域よりも埋め込み空間で近くなるように保証するため、ハードネガティブマイニングを用いたトリプレット損失を用いてエンド・ツー・エンドで学習される。
• より簡単な語のセグメンテーションが可能な手稿向けに、若干の精度の犠牲を払ってもはるかに高速な推論が可能な、簡略化されたバージョン、Ctrl-F-Miniが導入されている。
• モデルは、テキストエンコーダーから生成されたクエリ埋め込みと領域埋め込みとの間のコサイン類似度を計算することで、クエリ・バイ・ストリング検索を実行する。
• この手法は標準ベンチマークで評価され、18世紀から19世紀の裁判記録からなる10万ページの実世界データセットに適用された。学習に使用されたデータはわずか11ページであった。

実験結果

リサーチクエスチョン

• RQ1 手作業による語のセグメンテーションやトランスクリプションを必要としない深層学習モデルが、歴史的手稿における正確なワードスティングを実現できるか？
• RQ2 本手法が、テキストクエリのみを用いて、大規模で未加工の手稿コレクションから関連する語の出現をどれほど効果的に検索できるか？
• RQ3 少数のページで学習されたモデルが、言語外語（OOV）語に対し、どの程度一般化できるか？
• RQ4 多様な筆跡、褪色したインク、複雑なレイアウトを有する手稿において、モデルの性能はどの程度か？
• RQ5 これまでアクセスが困難だった手稿コレクションから大規模なデータ収集を可能にすることで、モデルが歴史的研究を著しく加速できるか？

主な発見

• Ctrl-F-Netは、ベンチマークデータセットにおいて先行する最先端手法を上回り、IAMデータセットでは平均平均精度（MAP）0.87を達成した。Snevringe裁判記録においても、先行SOTAを上回った。
• Snevringeデータセットでは、10のクエリに対して、ランク1での精度が0.70、ランク10での精度が0.68を記録した。語彙内語（in-vocabulary）語の性能が、言語外語（OOV）語よりも高かった。
• わずか11ページの学習データで学習されたにもかかわらず、10万ページの手稿コレクションから関連する語の出現を効果的に検索し、手作業による方法と比べて桁違いに高速なデータ収集を可能にした。
• 言語外語（OOV）クエリに対しても、予想に反して高い頑健性を示し、'gifta'（結婚した）に対して高い精度を示した。これは、限られた学習データでも効果的なゼロショット一般化が可能であることを示唆している。
• 定性的な結果から、モデルはクレメントスクリプトを含む多様な筆跡を処理できることが示されたが、訓練データにスクリプトが過剰に含まれているため、誤検出が時折発生することがある。
• アブレーションスタディにより、領域候補の品質が性能に顕著に影響することが確認され、これに基づき、セグメンテーションが容易な手稿向けに高速な推論を実現するための軽量版Ctrl-F-Miniが設計された。