[논문 리뷰] QURATOR: Innovative Technologies for Content and Data Curation

Georg Rehm, Peter Bourgonje외 38명|arXiv (Cornell University)|2020. 04. 25.

Digital Humanities and Scholarship참고 문헌 8인용 수 15

한 줄 요약

QURATOR는 의미 기반 기술, 자연어 처리(NLP), 기계 학습을 융합하여 미디어, 헬스케어, 문화, 산업 분야에서 디지털 콘텐츠 수집을 통합적으로 간소화하는 AI 기반 플랫폼을 개발한다. 이 플랫폼은 자동 메타데이터 강화, 지능형 검색, 요약, 품질 제어를 통해 콘텐츠 처리를 향상시키며, 파트너 기관의 사용 사례에서 효율성과 데이터 품질 향상이 명확하게 입증되었다.

ABSTRACT

In all domains and sectors, the demand for intelligent systems to support the processing and generation of digital content is rapidly increasing. The availability of vast amounts of content and the pressure to publish new content quickly and in rapid succession requires faster, more efficient and smarter processing and generation methods. With a consortium of ten partners from research and industry and a broad range of expertise in AI, Machine Learning and Language Technologies, the QURATOR project, funded by the German Federal Ministry of Education and Research, develops a sustainable and innovative technology platform that provides services to support knowledge workers in various industries to address the challenges they face when curating digital content. The project's vision and ambition is to establish an ecosystem for content curation technologies that significantly pushes the current state of the art and transforms its region, the metropolitan area Berlin-Brandenburg, into a global centre of excellence for curation technologies.

연구 동기 및 목표

• 지식 집약적 산업에서 거대하고 이질적인 디지털 콘텐츠 스트림을 관리하는 데 증가하는 과제를 해결한다.
• 산산이 흩어진 고립된 도구를 통합적이고 AI 강화된 플랫폼으로 대체하여 수동 콘텐츠 수집 작업을 줄인다.
• 자연어 처리(NLP), 기계 학습, 의미 기반 기술을 활용해 오픈 지식 기반인 위키데이터와 같은 곳에서 데이터 품질과 접근성을 향상시킨다.
• 문화, 미디어, 헬스케어, 산업 분야에 특화된 수집 솔루션을 의미 기반 및 NLP 기술을 통해 개발한다.
• 지속 가능하고 확장 가능한 플랫폼 생태계를 통해 베를린-브란덴부르크를 콘텐츠 수집 기술 분야의 글로벌 엑세서티 센터로 구축한다.

제안 방법

• 기초 AI 및 데이터 통합 서비스, 지능형 통합 수집 도구, 도메인 특화 애플리케이션 계층으로 구성된 3단계 기술 플랫폼 설계.
• 자연어 처리(NLP), 텍스트 요약, 중복 검출, 이미지 분류 등의 AI 기법을 통합하여 콘텐츠 분석 및 메타데이터 강화를 향상시킨다.
• 위키데이터에서 데이터 스키마를 정의하고 검증하기 위해 스키마 표현 표준(Shape Expression)을 구현한다.
• 기계 학습 모델을 개발하여 위키데이터의 데이터 품질을 자동으로 평가하고, 고품질 및 저품질 항목을 편집에 초점을 맞출 수 있도록 표시한다.
• 특허 기반의 NLP 파이프라인을 활용해 사회적 미디어 리스크 모니터링을 위한 자동 쿼리 제안 및 요약 시스템을 구축한다.
• 버진스비블리오테크 베를린 연구소 및 위키미디어의 데이터 인fra구조에 실제 환경에서의 데모를 구현한다.

실험 결과

연구 질문

• RQ1 AI 및 의미 기반 기술을 통합적으로 융합한 플랫폼을 통해 다양한 산업 분야에서 콘텐츠 수집을 어떻게 간소화할 수 있는가?
• RQ2 커뮤니티 기반 지식 기반인 위키데이터와 같은 곳에서 높은 데이터 품질을 유지하는 데 자동 스키마 검증과 품질 스코어링이 어떤 역할을 할 수 있는가?
• RQ3 지능형 요약 및 중복 검출 기술이 사회적 미디어 및 뉴스 콘텐츠의 리스크 모니터링 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 AI 기반 메타데이터 강화가 문화 기관 및 미디어 기관의 콘텐츠 검색 가능성과 처리 효율성에 어떤 영향을 미칠 수 있는가?
• RQ5 모듈식이고 개방적인 플랫폼 생태계는 고립된 포인트 솔루션에 비해 수동 콘텐츠 수집 작업을 얼마나 줄일 수 있는가?

주요 결과

• QURATOR 플랫폼은 10개의 파트너 프로젝트에 걸쳐 AI 기반 서비스를 성공적으로 통합하여 수집 워크플로우에서 콘텐츠 처리 효율성이 향상됨을 입증했다.
• 위키데이터에서의 자동 스키마 검증은 스키마 표현 표준을 통해 비준수 항목을 신속하게 식별할 수 있도록 하여 데이터 일관성 향상에 기여했다.
• 위키데이터의 데이터 품질 평가를 위한 기계 학습 모델은 고품질 및 저품질 항목을 효과적으로 식별하여 편집자들이 집중할 수 있도록 향상된 품질 관리 가능성을 제공했다.
• 이미지 기반 분류 방법은 베를린 국립도서관의 디지털 아카이브에서 문서 메타데이터를 강화하여 콘텐츠 색인 및 검색 정확도를 향상시켰다.
• 자동 쿼리 제안 및 요약 기능을 갖춘 사회적 미디어 리스크 모니터링 도구는 데이터 요약 프로세스를 단순화하여 위기 탐지까지의 시간을 단축시켰다.
• 베를린 국립도서관 연구소를 위한 데모 버전은 2020년에 출시되어 플랫폼의 문화 유산 수집 분야에서의 실제 적용 가능성을 입증했다.