[논문 리뷰] The New Data and New Challenges in Multimedia Research.

Bart Thomée, David A. Shamma외 6명|arXiv (Cornell University)|2015. 03. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 249

한 줄 요약

이 논문은 2004년에서 2014년까지의 기간 동안 창작자 공유 라이선스를 갖춘 1억 개의 사진 및 영상으로 구성된 공개 미디어 컬렉션인 Yahoo Flickr Creative Commons 100 Million Dataset (YFCC100M)를 소개한다. 이 데이터셋은 풍부한 메타데이터를 제공하며, 콘텐츠 이해, 표현, 공유 패턴 분야에서 대규모 미디어 연구를 가능하게 하며 새로운 도전과 기회를 제공한다.

ABSTRACT

We present the Yahoo Flickr Creative Commons 100 Million Dataset (YFCC100M), the largest public multimedia collection that has ever been released. The dataset contains a total of 100 million media objects, of which approximately 99.2 million are photos and 0.8 million are videos, all of which carry a Creative Commons license. Each media object in the dataset is represented by several pieces of metadata, e.g. Flickr identifier, owner name, camera, title, tags, geo, media source. The collection provides a comprehensive snapshot of how photos and videos were taken, described, and shared over the years, from the inception of Flickr in 2004 until early 2014. In this article we explain the rationale behind its creation, as well as the implications the dataset has for science, research, engineering, and development. We further present several new challenges in multimedia research that can now be expanded upon with our dataset.

연구 동기 및 목표

• 연구를 위한 가장 큰 공개 미디어 데이터셋을 구축하여, 대규모 미디어 이해 및 콘텐츠 공유 연구를 가능하게 한다.
• 2004년 플리커 창립 이래로 2014년까지의 사용자 생성 사진 및 영상 콘텐츠의 종합적이고 장기적인 스냅샷을 제공한다.
• 표준화된 메타데이터를 갖춘 확장 가능하고 다양한, 잘 주석 처리된 데이터셋을 제공하여 과학적 및 공학적 발전을 지원한다.
• 이러한 대규모 실세계 데이터셋을 분석함으로써 나타나는 새로운 미디어 연구 과제를 식별하고 프레임워크화한다.

제안 방법

• 플리커에서 수집한 1억 개의 미디어 객체(사진 9920만 개, 영상 80만 개)를 모두 창작자 공유 라이선스 하에 포함한다.
• 각 미디어 객체별로 플리커 ID, 소유자 이름, 카메라, 제목, 태그, 지리적 위치, 미디어 소스 등의 풍부한 메타데이터를 추출하고 정렬한다.
• 2004년부터 2014년 초까지의 기간을 커버하는 플리커의 공개 API 및 데이터베이스 덤프에서 데이터를 집계한다.
• 다양한 연구 응용 분야에서의 일관성과 사용성을 보장하기 위해 표준화된 데이터 스키마를 설계한다.
• 재현 가능한 연구와 커뮤니티 기반 혁신을 지원하기 위해 데이터셋을 공개 자원으로 게시한다.
• 데이터셋의 규모, 다양성, 메타데이터의 풍부함을 바탕으로 새로운 연구 과제를 식별한다.

실험 결과

연구 질문

• RQ1 대규모 실세계 미디어 데이터는 어떻게 효과적으로 수집하고 정렬하여 광범위한 연구 목적에 활용할 수 있는가?
• RQ2 1억 개의 사용자 생성 미디어 객체를 분석함으로써 어떤 새로운 도전 과제들이 미디어 이해 및 콘텐츠 표현 분야에서 나타나는가?
• RQ3 태그, 지리적 위치, 사용자가 제공한 제목 등의 메타데이터는 인간의 인지 및 콘텐츠 기술 패턴을 어떻게 반영하는가?
• RQ4 2004년에서 2014년까지의 장기적 추세를 바탕으로 사진 및 영상 공유 행동에 대해 어떤 통찰을 얻을 수 있는가?
• RQ5 공개적이고 라이선스가 부여된 미디어 데이터셋은 컴퓨터 비전 및 미디어 시스템 분야에서 확장 가능하고 재현 가능한 연구를 어떻게 가능하게 하는가?

주요 결과

• YFCC100M 데이터셋은 총 1억 개의 미디어 객체를 포함하며, 이 중 사진은 9920만 개, 영상은 80만 개이며, 모두 창작자 공유 라이선스를 갖춘다.
• 이 데이터셋은 2004년에서 2014년 초까지의 사용자 생성 콘텐츠에 대한 종합적이고 장기적인 시각을 제공하여, 점차 변화하는 공유 및 기술 패턴을 포착한다.
• 각 미디어 객체는 제목, 태그, 지리적 위치, 카메라, 소유자 정보 등 여러 메타데이터 필드로 풍부하게 강화되어 있으며, 깊이 있는 분석이 가능하다.
• 이 데이터셋은 교차 모달 검색, 시각-의미적 임베딩, 콘텐츠 편향 탐지 등의 미디어 이해 분야에서 새로운 연구 과제를 가능하게 한다.
• 이러한 대규모 공개 및 잘 정렬된 데이터셋의 가용성은 미디어 시스템 분야에서 확장 가능하고 재현 가능한 연구를 위한 새로운 길을 열어준다.
• 이 데이터셋은 컴퓨터 비전, 자연어 처리 및 소셜 미디어 분석 분야의 연구 발전을 위한 기반을 제공한다.