[論文レビュー] Is Medieval Distant Viewing Possible? : Extending and Enriching Annotation of Legacy Image Collections using Visual Analytics

Christofer Meinecke, Estelle Guéville+2 more|arXiv (Cornell University)|Aug 20, 2022

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本論文は、中世研究者（medievalists）が2つのレガシーメディエバル写本コレクション（Mandragore および Initiale）からの断片的で不完全な注釈を統合・拡張・階層的に整理できる視覚的分析フレームワークを提示する。単語埋め込み、画像埋め込み、共起性分析、インタラクティブな可視化を統合することで、共同作業による準教師ありラベリングと、文化的遺産分野の教師あり機械学習に適した高品質なドメイン固有のラベル階層の構築を支援する。

ABSTRACT

Distant viewing approaches have typically used image datasets close to the contemporary image data used to train machine learning models. To work with images from other historical periods requires expert annotated data, and the quality of labels is crucial for the quality of results. Especially when working with cultural heritage collections that contain myriad uncertainties, annotating data, or re-annotating, legacy data is an arduous task. In this paper, we describe working with two pre-annotated sets of medieval manuscript images that exhibit conflicting and overlapping metadata. Since a manual reconciliation of the two legacy ontologies would be very expensive, we aim (1) to create a more uniform set of descriptive labels to serve as a "bridge" in the combined dataset, and (2) to establish a high quality hierarchical classification that can be used as a valuable input for subsequent supervised machine learning. To achieve these goals, we developed visualization and interaction mechanisms, enabling medievalists to combine, regularize and extend the vocabulary used to describe these, and other cognate, image datasets. The visual interfaces provide experts an overview of relationships in the data going beyond the sum total of the metadata. Word and image embeddings as well as co-occurrences of labels across the datasets, enable batch re-annotation of images, recommendation of label candidates and support composing a hierarchical classification of labels.

研究の動機と目的

• 特に中世写本データベースにおいて顕在する、一貫性のない、不完全で、矛盾するメタデータの課題に対処すること。
• 宗教的・歴史的画像に特有の意味論を反映しないがために、画像分類の階層（例：ImageNet）が不適切であるという既存の限界を克服すること。
• 中世の装飾写本に特化した、統一的で高品質で意味的に意味のあるラベル階層を、ドメイン専門家（中世研究者）が共同で構築できるようにすること。
• 機械学習の推奨事項と専門家のフィードバックを視覚的分析インターフェースで統合することで、大規模な画像コレクションに対するスケーラブルでインタラクティブな注釈を支援すること。
• 複数の機関間で異なる語彙やメタデータスキーマを統一することで、コレクション間の検索可能性と相互運用性を促進すること。

提案手法

• 自然言語処理モデルから得られるような語彙埋め込み（例：NLPモデル）を統合し、複数のコレクション間で意味論的ラベル候補を提示・統一する視覚的分析システムを開発した。
• 畳み込みニューラルネットワークから得られる画像埋め込み（例：CNN）を活用し、注釈プロセス中に視覚的類似性に基づく推奨を可能にした。
• 画像間のラベルの共起性分析を統合し、意味的に関連する注釈の提案と階層的組織化を支援した。
• ユーザーのフィードバックが視覚的表現（例：UMAPプロット）とラベル埋め込みを動的に更新する準教師あり学習ループを実装した。
• ラベル階層、埋め込み空間、注釈の信頼性のインタラクティブな可視化を提供し、専門家の意思決定を支援した。
• 埋め込みと共起パターンから導かれる共通のラベル推奨を活用して、複数の画像を一度に一括して注釈可能にした。

実験結果

リサーチクエスチョン

• RQ1 複数のメディアエバル写本データベースから得られる断片的かつ一貫性のない注釈を、一体的で共通の語彙に統合する方法は何か？
• RQ2 視覚的分析と埋め込みベースの推奨が、文化的遺産コレクションにおける専門家の注釈作業の効率性と一貫性をどの程度向上できるか？
• RQ3 ドメイン専門家と機械学習ツールが共同で構築するラベル階層は、学術的慣習と視覚的意味論の両方を反映できるか？
• RQ4 視覚的分析は、既存のメタデータにおける注釈の矛盾や意味論的ずれの検出・是正をどの程度支援できるか？
• RQ5 ユーザーと埋め込み空間との間のインタラクティブなフィードバックループは、ラベル階層の洗練と下流の機械学習性能の向上にどのような役割を果たすか？

主な発見

• 視覚的分析システムにより、中世研究者がMandragoreとInitialeの間で矛盾するメタデータを統合・正規化でき、語彙的および意味論的不整合が著しく減少した。
• 語彙と画像の埋め込みに基づくインタラクティブな推奨は、大規模な画像セットに対する手作業による注釈に要する時間と認知的負荷を顕著に低減した。
• ラベルの共起性分析により、一貫したドメイン固有の階層分類を構築する根拠となる意味的関係が明らかになった。
• ユーザーのフィードバックが埋め込み空間の視覚的表現を動的に更新し、専門家がラベル関係を段階的に探索・洗練できる環境を提供した。
• 本システムはスケーラビリティと一般化の可能性に優れており、他の中世芸術ジャンルやコレクションへのラベル階層の拡張の基盤が整った。
• 共同注釈と矛盾の是正を支援するフレームワークであり、複数の注釈者間の不一致や集団的知識の構築を視覚的サインで表現できる。