[논문 리뷰] Places: An Image Database for Deep Scene Understanding

Bolei Zhou, Aditya Khosla외 3명|arXiv (Cornell University)|2016. 10. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 175

한 줄 요약

본 논문은 Places를 소개합니다. 10M-image 장면 중심 데이터베이스로 476개 카테고리에 걸쳐 있으며 다단계 크라우드소싱과 부트스트래핑을 통해 구축되었고, CNN 기반의 장면 분류 성능이 강력함을 보여줍니다. 또한 장면 중심 특성과 객체 중심 특징을 비교하고 벤치마크와 시각화 인사이트를 제공합니다.

ABSTRACT

The rise of multi-million-item dataset initiatives has enabled data-hungry machine learning algorithms to reach near-human semantic classification at tasks such as object and scene recognition. Here we describe the Places Database, a repository of 10 million scene photographs, labeled with scene semantic categories and attributes, comprising a quasi-exhaustive list of the types of environments encountered in the world. Using state of the art Convolutional Neural Networks, we provide impressive baseline performances at scene classification. With its high-coverage and high-diversity of exemplars, the Places Database offers an ecosystem to guide future progress on currently intractable visual recognition problems.

연구 동기 및 목표

• 심층 장면 이해를 촉진하기 위해 대규모이고 다양하며 카테고리 풍부한 장면 데이터셋의 생성을 촉진한다.
• 웹 데이터 수집, 크라우드소싱 라벨링, 반자동 부트스트래핑을 결합한 구축 파이프라인을 설명한다.
• Places365 변형, Places205, Places88를 포함한 벤치마크를 설정하여 장면 인식 방법의 공정한 평가를 가능하게 한다.
• 장면 중심 CNN 특징(Places-CNN)과 객체 중심 특징(ImageNet-CNN)의 장면 분류에 대한 효과를 탐구한다.
• 장면 중심 네트워크에서 학습된 표현을 이해하기 위한 정성적 분석과 시각화를 제공한다.

제안 방법

• SUN 기반의 장면 카테고리와 형용사 기반 질의를 사용해 웹에서 10 million 이미지를 수집하여 다양성을 높인다.
• 다수의 검증 라운드를 거쳐 476개의 장면 카테고리에 대해 진짜 예시를 선택하기 위한 Amazon Mechanical Turk를 통한 크라우드소싱 라벨링.
• 남은 미라벨 이미지의 분류 및 표적 수동 주석 작성을 안내하기 위해 CNN(AlexNet)을 활용한 반자동 부트스트래핑.
• 근의 동의어에 가까운 카테고리를 병합하고 구분성을 높이기 위해 라벨을 해석하고 정제한다.
• Places205 및 Places365 부분집합에서 CNN 베이스라인(AlexNet, GoogLeNet, VGG, 및 ResNet 변형)을 학습하고 평가한다; ImageNet-CNN 특징과 비교한다.
• 특징 표현을 분석하고 학습된 장면 개념을 해석하기 위해 유닛 수용영역과 합성 입력의 시각화를 제공한다.

실험 결과

연구 질문

• RQ1 강력한 심층 장면 이해를 가능하게 하려면 장면 중심 데이터셋이 얼마큼 크고 다양해야 하는가?
• RQ2 크라우드소싱과 부트스트래핑을 결합하여 웹 이미지로부터 고커버리지의 Places 데이터셫을 신뢰성 있게 만들 수 있는가?
• RQ3 장면 중심 CNN 특징(Places-CNN)은 장면 중심 벤치마크에서 객체 중심 특징(ImageNet-CNN)과 어떻게 비교되는가?
• RQ4 장면 인식의 진전을 가장 잘 나타내는 벤치마크는 무엇이며, 서로 다른 CNN 아키텍처는 그것들에서 어떻게 수행하는가?
• RQ5 Places-CNN 내부 단위가 학습된 장면 표현에 대해 무엇을 보여 주며, 시각화가 해석에 어떻게 도움이 되는가?

주요 결과

• Places: 10,624,928 이미지에 걸쳐 434 장소 카테고리로 구성되며 크라우드소싱 검증 및 부트스트래핑을 포함한 다단계 프로세스로 구축되었습니다.
• Places365-Standard에는 1,803,460 훈련 이미지가 포함되어 있고; Places365-Challenge는 ~8 million 훈련 이미지를 추가하며; Places205는 205개 카테고리에서 2.5 million 이미지가 있습니다.
• Places-CNN 특징은 장면 중심 작업에서 ImageNet-CNN 특징보다 우수하며, Places365-VGG가 SUN397에서 63.24% Top-1을 달성하고, 하이브리드 1365-VGG가 여덟 데이터셋에서 평균 최상위를 달성한다.
• Places205 및 SUN205에서 Places-CNN들(예: Places205-VGG, Places205-GoogLeNet)은 Top-1/Top-5 정확도에서 ImageNet-CNN 베이스라인을 크게 능가한다.
• 통합된 Places 벤치마크(Places365-Standard/Challenge, Places205, Places88)는 장면 인식 연구를 위한 일관된 평가와 진행 추적을 가능하게 한다.
• 시각화는 Places-CNN 단위가 객체 부품이 아니라 장면 부분(침대, 의자, 건물)을 감지함을 보여주며, 객체 중심 네트워크와는 다른 학습 표현을 강조한다.