[논문 리뷰] ImageNet MPEG-7 Visual Descriptors - Technical Report

Frédéric Rayar|arXiv (Cornell University)|2017. 02. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 9인용 수 3

한 줄 요약

이 기술 보고서는 21,841개의 시넷과 1,419만 7,060장의 이미지를 포함한 ImageNet 데이터셋 전부에 대해 MPEG-7 시각적 기술자인 색상 레이아웃 기술자(Color Layout Descriptor, CLD)와 에지 히스토그램 기술자(Edge Histogram Descriptor, EHD)의 추출 및 공개를 제안한다. CLD는 DCT 기반의 양자화를 통해 8×8 블록의 공간적 색상 분포를 캡처하며, EHD는 4×4 블록 히스토그램을 사용해 에지 패턴을 인코딩한다. 두 기술자는 연구용으로 사용 가능한 구조화된 파일 형식으로 공개된다. 컨텐츠 기반 이미지 검색 및 시각 인식 분야에서의 응용을 지원한다.

ABSTRACT

ImageNet is a large scale and publicly available image database. It currently offers more than 14 millions of images, organised according to the WordNet hierarchy. One of the main objective of the creators is to provide to the research community a relevant database for visual recognition applications such as object recognition, image classification or object localisation. However, only a few visual descriptors of the images are available to be used by the researchers. Only SIFT-based features have been extracted from a subset of the collection. This technical report presents the extraction of some MPEG-7 visual descriptors from the ImageNet database. These descriptors are made publicly available in an effort towards open research.

연구 동기 및 목표

• 기존의 SIFT 기능 외에 표준화된 MPEG-7 시각적 기술자를 제공함으로써 ImageNet 데이터베이스의 활용도를 확장하기 위함.
• 현재 소규모 서브셋에 대해서만 SIFT 또는 속성 정보를 제공하고 있는 ImageNet에서 종합적인 저수준 시각적 기술자가 부족한 문제를 해결하기 위함.
• 빠르고 표준화된 기능 추출을 가능하게 하여 대규모 컨텐츠 기반 이미지 검색 및 시각 인식 연구를 지원하기 위함.
• 표준화된 MPEG-7 기술자를 사용함으로써 시각 인식 분야에서의 상호운용성과 재현 가능성을 확보하기 위함.
• 전체 ImageNet 데이터셋에 대해 CLD 및 EHD 기능을 공개함으로써 컴퓨터 시각 분야의 개방 과학을 촉진하기 위함.

제안 방법

• ImageNet 전체가 처리되었으며, 21,841개의 시넷과 14,197,060장의 이미지가 분석되었으며, 62개의 손상된 파일은 제외됨.
• CLD의 경우, 각 이미지를 64개의 8×8 픽셀 블록으로 분할하고, 각 블록에 대해 대표 색상 값을 계산한 후, 2차원 DCT를 적용하고 저주파수 계수를 지그재그 순서로 재정렬함.
• CLD 기술자는 첫 192개 계수(3채널 × 64개 계수)를 양자화하여 192차원 벡터로 구성됨.
• EHD의 경우, 각 이미지를 16개의 4×4 픽셀 블록으로 나누고, 각 블록에서 다섯 가지 유형의 에지(수평, 수직, 대각선 등)에 대한 히스토그램을 계산함.
• EHD 기술자는 16개 블록 × 5개 에지 유형의 총 80개 값들을 연결하여, 이미지당 80차원의 벡터로 구성됨.
• 기술자는 각 이미지당 한 줄씩 기록된 텍스트 파일에 저장되었으며, 형식은 image_id;value_1;...;value_d이며, CLD의 경우 d=192, EHD의 경우 d=80임.

실험 결과

연구 질문

• RQ1 전체 ImageNet 데이터셋에 걸쳐 표준화된 MPEG-7 시각적 기술자를 효율적이고 일관적으로 대규모로 추출할 수 있는가?
• RQ2 대규모 이미지 인식 작업에서 CLD와 EHD 기술자가 공간적 색상 및 에지 패턴을 얼마나 잘 캡처하는가?
• RQ3 SIFT와 같은 기존 ImageNet 기능과 함께 사용할 경우, CLD와 EHD가 컨텐츠 기반 이미지 검색 성능을 얼마나 향상시키는가?
• RQ4 1,400만 장 이상의 이미지를 MPEG-7 기술자를 사용해 재현 가능하고 공개 가능한 방식으로 처리하는 데의 실현 가능성과 신뢰성은 어떠한가?
• RQ5 특히 에지 또는 색상 기능 측면에서 ImageNet 시넷 간에 기술자 가용성 또는 품질에 체계적인 차이가 존재하는가?

주요 결과

• 모든 14,197,060장의 이미지에 대해 CLD 기술자가 성공적으로 계산되었으며, 이미지당 192차원의 특징 벡터로 구성됨.
• 모든 14,197,060장의 이미지에 대해 EHD 기술자가 계산되었으며, 이미지당 80차원의 특징 벡터로 구성됨.
• 총 21,841개의 시넷 전용 기술자 파일이 생성되었으며, 각 시넷마다 하나의 파일이 생성되었고, 파일명 형식은 synset_id.ext (ext = cld 또는 ehd)임.
• 완전한 데이터셋은 두 개의 아카이브로 공개되었으며, ImageNet_MPEG-7_CLD_whole.zip (~1GB)과 ImageNet_MPEG-7_EHD_whole.zip (~2GB)임.
• 처리 파이프라인은 CLD에 대해 해상도 불변성을 확보하였고, EHD에 대해서는 일관된 블록 기반 히스토그램 계산을 보장하여 효율적이고 표준화된 기능 추출을 가능하게 함.
• 저자가 주의할 점은 대부분의 이미지에 CLD 및 EHD 기술자가 존재하지만, 모든 이미지에 대해 이에 대한 검증은 수행되지 않았음.