[논문 리뷰] Automatic Image Content Extraction: Operationalizing Machine Learning in Humanistic Photographic Studies of Large Visual Archives

Anssi Männistö, Mert Seker외 2명|arXiv (Cornell University)|2022. 04. 05.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 대규모 시각 자료 분석을 인문학 연구에 적용하기 위해 기존의 전통적 시각 콘텐츠 분석 방식을 기계학습 기반 도구와의 호환성에 맞게 재구성한 Automatic Image Content Extraction (AICE) 프레임워크를 소개한다. 이는 대규모 사진 자료집에 대한 자동화되고 확장 가능하며 체계적인 분석을 가능하게 하여 수작업의 노력을 크게 줄이고 전통적 한계를 초월한 연구 범위를 넓힌다.

ABSTRACT

Applying machine learning tools to digitized image archives has a potential to revolutionize quantitative research of visual studies in humanities and social sciences. The ability to process a hundredfold greater number of photos than has been traditionally possible and to analyze them with an extensive set of variables will contribute to deeper insight into the material. Overall, these changes will help to shift the workflow from simple manual tasks to more demanding stages. In this paper, we introduce Automatic Image Content Extraction (AICE) framework for machine learning-based search and analysis of large image archives. We developed the framework in a multidisciplinary research project as framework for future photographic studies by reformulating and expanding the traditional visual content analysis methodologies to be compatible with the current and emerging state-of-the-art machine learning tools and to cover the novel machine learning opportunities for automatic content analysis. The proposed framework can be applied in several domains in humanities and social sciences, and it can be adjusted and scaled into various research settings. We also provide information on the current state of different machine learning techniques and show that there are already various publicly available methods that are suitable to a wide-scale of visual content analysis tasks.

연구 동기 및 목표

• 인문학 및 사회과학 분야에서 대규모 시각 자료를 다룰 때 수작업 기반의 텍스트 중심 분석의 한계를 해결하기 위해.
• 전통적 시각 콘텐츠 분석 방법론과 현대 기계학습 기술 간 격차를 메우기 위해.
• 기존 수작업 코딩으로는 달성할 수 없었던 세밀한 콘텐츠 인식 주석을 포함한 수십만 장의 이미지를 분석할 수 있도록 연구자들이 가능하게 하기 위해.
• 메소드올로지적 엄밀함과 윤리적 책임을 확보하기 위해 인문학 연구자와 기계학습 전문가 간의 다학제적 협업을 촉진하기 위해.
• 기계학습 응용 프로그램에서 편향을 방지하고 포용성을 확보하기 위해 책임감 있는 데이터 주석화 관행을 주장하기 위해.

제안 방법

• 기계학습 기반 추출에 적합한 변수의 체계적 세트를 도입함으로써 전통적 시각 콘텐츠 분석을 재구성하기 위해.
• 각 시각 콘텐츠 변수를 기계학습 기법과 매핑하기 위해, 객체 검출, 장면 인식, 속성 분류 기술을 포함한다.
• 점진적 학습과 새로운 연구 카테고리에의 적응을 지원하는 모듈식 시스템으로 AICE 프레임워크를 설계하기 위해.
• 대규모 맞춤형 훈련이 필요로 하는 것을 줄이기 위해 공개된 사전 훈련된 모델과 전이 학습을 활용하기 위해.
• 이미지 콘텐츠를 텍스트 메타데이터 및 맥락 정보와 연결함으로써 다중 모odal 분석 잠재력을 통합하기 위해.
• 재현 가능성과 결과의 비판적 평가를 보장하기 위해 모델과 데이터의 개방적 공개를 강조하기 위해.

실험 결과

연구 질문

• RQ1 기계학습 기법은 어떻게 인문학적 대규모 시각 자료 연구에 체계적으로 통합될 수 있는가?
• RQ2 현재 기계학습 모델이 신뢰성 있게 추출할 수 있는 시각 콘텐츠 분석의 핵심 변수는 무엇인가?
• RQ3 AICE 프레임워크는 수작업 코딩의 한계를 초월해 전통적 사진 연구의 범위와 깊이를 어떻게 향상시킬 수 있는가?
• RQ4 인문학 연구에서 자동화된 이미지 분석을 도입할 때의 주요 과제는 무엇이며, 어떻게 이를 완화할 수 있는가?
• RQ5 인문학자와 기계학습 연구자 간의 다학제적 협업은 어떻게 메소드올로지적 타당성과 윤리적 책임을 보장할 수 있는가?

주요 결과

• AICE 프레임워크는 콘텐츠 추출을 자동화함으로써 기존 수작업 방법보다 약 100배 이상 큰 규모의 이미지 컬렉션 분석을 가능하게 한다.
• 현재 기계학습 기법은 객체 검출, 장면 분류, 속성 인식 등의 광범위한 시각 콘텐츠 분석 작업을 이미 지원한다.
• 자동화된 콘텐츠 주석화로 인해 인간의 실수와 노동 강도가 감소하며, 연구 워크플로우가 수작업 코딩에서 더 깊이 있는 분석 및 해석 단계로 이동한다.
• 프레임워크는 점진적 학습을 지원하여, 연구자가 기존 모델을 다시 훈련하지 않고도 새로운 카테고리를 추가할 수 있다.
• 훈련 데이터가 다양한 문화적 및 사회적 맥락을 반영하고 편향을 피하기 위해, 인문학자와 기계학습 연구자 간의 협업이 필수적이다.
• 모델과 데이터의 개방적 공개는 재현 가능성을 향상시키며 결과의 비판적 평가를 가능하게 하여, 인문학 분야에서 누적적이고 통합적인 연구를 지원한다.