[论文解读] Automatic Image Content Extraction: Operationalizing Machine Learning in Humanistic Photographic Studies of Large Visual Archives

Anssi Männistö, Mert Seker+2 more|arXiv (Cornell University)|Apr 5, 2022

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了自动图像内容提取（AICE）框架，这是一种基于机器学习的系统，通过将传统视觉内容分析方法重新构型以适配最先进的机器学习工具，从而在人文学术研究中实现大规模视觉内容分析的实用化。该框架可实现对海量摄影档案的自动化、可扩展且结构化的分析，显著减少人工工作量，并将研究范围拓展至传统方法的限制之外。

ABSTRACT

Applying machine learning tools to digitized image archives has a potential to revolutionize quantitative research of visual studies in humanities and social sciences. The ability to process a hundredfold greater number of photos than has been traditionally possible and to analyze them with an extensive set of variables will contribute to deeper insight into the material. Overall, these changes will help to shift the workflow from simple manual tasks to more demanding stages. In this paper, we introduce Automatic Image Content Extraction (AICE) framework for machine learning-based search and analysis of large image archives. We developed the framework in a multidisciplinary research project as framework for future photographic studies by reformulating and expanding the traditional visual content analysis methodologies to be compatible with the current and emerging state-of-the-art machine learning tools and to cover the novel machine learning opportunities for automatic content analysis. The proposed framework can be applied in several domains in humanities and social sciences, and it can be adjusted and scaled into various research settings. We also provide information on the current state of different machine learning techniques and show that there are already various publicly available methods that are suitable to a wide-scale of visual content analysis tasks.

研究动机与目标

• 解决在人文学科和社会科学中，传统人工文本分析在处理大规模视觉档案时的局限性。
• 弥合传统视觉内容分析方法与现代机器学习技术之间的差距。
• 使研究人员能够对数十万张图像进行详细、内容感知的标注，这些标注此前通过人工编码无法实现。
• 促进人文学术研究人员与机器学习专家之间的跨学科合作，以确保方法论的严谨性和伦理责任。
• 倡导负责任的数据标注实践，以防止偏见，并确保机器学习在视觉档案应用中的包容性。

提出的方法

• 通过引入适合机器学习提取的结构化变量集，重新构型传统视觉内容分析方法。
• 将每个视觉内容变量映射到现有的机器学习技术，包括目标检测、场景识别和属性分类。
• 设计AICE框架为模块化系统，支持增量学习并能适应新的研究类别。
• 利用公开可用的预训练模型和迁移学习，减少对大规模定制训练的需求。
• 通过将图像内容与文本元数据及上下文信息关联，整合多模态分析潜力。
• 强调模型和数据的公开发布，以确保结果的可重现性并支持批判性评估。

实验结果

研究问题

• RQ1 如何系统性地将机器学习技术整合到大规模视觉档案的人文主义摄影研究中？
• RQ2 在当前机器学习模型下，哪些是视觉内容分析中可可靠提取的关键变量？
• RQ3 AICE框架在哪些方面能够超越人工编码的限制，拓展传统摄影研究的广度与深度？
• RQ4 在人文学术研究中采用自动化图像分析的主要挑战是什么？这些挑战如何被缓解？
• RQ5 人文学术研究人员与机器学习研究人员之间的跨学科合作，如何确保方法论的严谨性和伦理责任？

主要发现

• AICE框架通过自动化内容提取，使图像集合的分析规模达到传统人工方法的约一百倍。
• 当前的机器学习技术已能支持广泛的视觉内容分析任务，包括目标检测、场景分类和属性识别。
• 自动化内容标注减少了人为错误和劳动强度，推动研究工作流程从人工编码转向更深层次的分析与阐释阶段。
• 该框架支持增量学习，使研究人员无需从零开始重新训练，即可向已训练模型添加新类别。
• 人文学术研究人员与机器学习研究人员的合作至关重要，以确保训练数据反映多元的文化与社会背景，避免偏见。
• 公开发布模型和数据可增强结果的可重现性，并支持对结果的批判性评估，从而推动人文学科中累积性与整合性研究的发展。