[논문 리뷰] Is Medieval Distant Viewing Possible? : Extending and Enriching Annotation of Legacy Image Collections using Visual Analytics

Christofer Meinecke, Estelle Guéville외 2명|arXiv (Cornell University)|2022. 08. 20.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 중세학자들이 두 개의 전통적인 중세 문헌집합(Mandragore와 Initiale)에서 산산이 찢어진 애너테이션을 통합하고 풍부하게 하며 계층적으로 정리할 수 있도록 돕는 시각적 분석 프레임워크를 제시한다. 단어 임베딩, 이미지 임베딩, 공시출현 분석 및 상호작용 가능한 시각화 기법을 통합함으로써, 시스템은 협업적이고 반감독 학습 기반의 레이블링을 지원하며, 문화유산 응용 분야에서 지도 학습을 위한 고품질의 도메인 전용 레이블 계층을 구축할 수 있도록 한다.

ABSTRACT

Distant viewing approaches have typically used image datasets close to the contemporary image data used to train machine learning models. To work with images from other historical periods requires expert annotated data, and the quality of labels is crucial for the quality of results. Especially when working with cultural heritage collections that contain myriad uncertainties, annotating data, or re-annotating, legacy data is an arduous task. In this paper, we describe working with two pre-annotated sets of medieval manuscript images that exhibit conflicting and overlapping metadata. Since a manual reconciliation of the two legacy ontologies would be very expensive, we aim (1) to create a more uniform set of descriptive labels to serve as a "bridge" in the combined dataset, and (2) to establish a high quality hierarchical classification that can be used as a valuable input for subsequent supervised machine learning. To achieve these goals, we developed visualization and interaction mechanisms, enabling medievalists to combine, regularize and extend the vocabulary used to describe these, and other cognate, image datasets. The visual interfaces provide experts an overview of relationships in the data going beyond the sum total of the metadata. Word and image embeddings as well as co-occurrences of labels across the datasets, enable batch re-annotation of images, recommendation of label candidates and support composing a hierarchical classification of labels.

연구 동기 및 목표

• 특히 중세 문헌 데이터베이스에서 관찰되는 일관성 없고 불완전하며 상충되는 메타데이터 문제를 해결한다.
• ImageNet과 같은 기존의 이미지 분류 계층은 종교적·역사적 이미지에 특화된 의미 체계를 반영하지 못하므로, 이러한 제약을 극복한다.
• 중세학자들(중세학자들)이 협업적으로 통합되고 고급이며 의미적으로 유의미한 레이블 계층을 구축할 수 있도록 지원한다.
• 기계 학습 추천과 전문가 피드백을 시각적 분석 인터페이스에서 융합함으로써, 대규모 이미지 컬렉션의 스케일러블하고 상호작용 가능한 애너테이션을 지원한다.
• 기관 간 이질적인 어휘와 메타데이터 스키마를 정렬함으로써, 다양한 컬렉션 간의 검색 가능성과 상호운용성을 향상시킨다.

제안 방법

• 자연어 처리(NLP) 모델에서 유래한 단어 임베딩을 활용해, 다양한 컬렉션 간 의미적 레이블 후보를 제안하고 정렬하는 시각적 분석 시스템을 개발했다.
• 합성곱 신경망에서 유도된 이미지 임베딩을 활용해, 애너테이션 과정에서 시각적 유사성 기반 추천을 가능하게 하였다.
• 이미지 간 레이블의 공시출현 분석을 통합해 의미적으로 관련된 애너테이션을 제안하고 계층적 정리에 기여하였다.
• 사용자 피드백이 시각적 표현(예: UMAP 투영)과 레이블 임베딩을 동적으로 업데이트하는 반감독 학습 루프를 구현하였다.
• 레이블 계층, 임베딩 공간, 애너테이션 신뢰도를 상호작용 가능한 시각화 도구로 제공해 전문가의 의사결정 지원을 하였다.
• 임베딩과 공시출현 패tern을 기반으로 유도된 공통 레이블 추천을 활용해, 다수의 이미지를 일괄적으로 애너테이션 처리할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 다양한 중세 문헌 데이터베이스에서 기인한 산산이 찢어진 애너테이션을 어떻게 통합하여 일관되고 공통의 어휘 체계로 만들 수 있는가?
• RQ2 시각적 분석과 임베딩 기반 추천이 문화유산 컬렉션에서 전문가의 애너테이션 효율성과 일관성에 얼마나 기여하는가?
• RQ3 도메인 전문가와 기계 학습 도구가 협업하여, 학술적 관례와 시각적 의미를 모두 반영하는 계층적 레이블 체계를 어떻게 공동으로 구성할 수 있는가?
• RQ4 시각적 분석은 기존 메타데이터에서 발생하는 애너테이션 갈등과 의미의 이탈을 탐지하고 해결하는 데 어떻게 기여하는가?
• RQ5 사용자와 임베딩 공간 간의 상호작용 피드백 루프는 레이블 계층을 어떻게 정교화하고 후속 기계 학습 성능을 향상시키는 데 기여하는가?

주요 결과

• 시각적 분석 시스템은 Mandragore와 Initiale 간의 충돌하는 메타데이터를 성공적으로 통합하고 정규화하여 어휘적·의미적 일관성 불일치를 감소시켰다.
• 단어 및 이미지 임베딩 기반의 상호작용 추천이 대규모 이미지 세트의 수동 애너테이션에 소요되는 시간과 인지적 부담을 크게 줄였다.
• 레이블의 공시출현 분석을 통해 의미적으로 유의미한 관계를 규명하여, 일관되고 도메인 특화된 계층적 분류 체계를 구축하는 데 기여하였다.
• 사용자 피드백이 임베딩 공간의 시각적 표현을 동적으로 업데이트하여 전문가가 반복적으로 레이블 관계를 탐색하고 정교화할 수 있도록 하였다.
• 시스템은 확장성과 일반화 가능성을 높게 보여주었으며, 향후 다른 중세 예술 장르와 컬렉션으로의 레이블 계층 확장 기반을 마련하였다.
• 협업적 애너테이션과 갈등 해결을 지원하며, 이중 애너테이터 간의 불일치를 표현하는 시각적 신호와 공동 지식 구축 과정을 반영하였다.