[논문 리뷰] 360-Indoor: Towards Learning Real-World Objects in 360° Indoor Equirectangular Images

Shih-Han Chou, Cheng Sun외 4명|arXiv (Cornell University)|2019. 10. 03.

Advanced Neural Network Applications참고 문헌 31인용 수 6

한 줄 요약

이 논문은 3,000장의 이미지와 37개의 일반적인 실내 객체 카테고리에 걸쳐 89,148개의 경계 박스 시야(field-of-view, BFoV) annotation을 포함한, 실세계 360° 등방위도 실내 객체 검출 데이터셋인 360-Indoor를 소개한다. 이 데이터셋은 360° 객체 검출 분야에서 최신 기술 수준의 성능을 달성하며, FPN이 33.6% mAP를 기록했고, COCO 사전학습 모델 대비 360-Indoor에서 훈련한 모델이 검출 정확도가 높아짐을 보여준다.

ABSTRACT

While there are several widely used object detection datasets, current computer vision algorithms are still limited in conventional images. Such images narrow our vision in a restricted region. On the other hand, 360° images provide a thorough sight. In this paper, our goal is to provide a standard dataset to facilitate the vision and machine learning communities in 360° domain. To facilitate the research, we present a real-world 360° panoramic object detection dataset, 360-Indoor, which is a new benchmark for visual object detection and class recognition in 360° indoor images. It is achieved by gathering images of complex indoor scenes containing common objects and the intensive annotated bounding field-of-view. In addition, 360-Indoor has several distinct properties: (1) the largest category number (37 labels in total). (2) the most complete annotations on average (27 bounding boxes per image). The selected 37 objects are all common in indoor scene. With around 3k images and 90k labels in total, 360-Indoor achieves the largest dataset for detection in 360° images. In the end, extensive experiments on the state-of-the-art methods for both classification and detection are provided. We will release this dataset in the near future.

연구 동기 및 목표

• 대규모 실세계 360° 실내 객체 검출 데이터셋이 부족하여 종합적인 벤치마킹이 어려운 문제를 해결하기 위해.
• 등방위도 360° 이미지에서의 객체 검출 및 분류 평가를 위한 표준화된 벤치마크를 제공하기 위해.
• 높은 카테고리 다양성과 조밀한 annotation을 제공함으로써 360° 시각 분야의 연구를 촉진하기 위해.
• 왜곡된 풍경과 현실적인 시나리오 복잡성을 가진 전경 이미지에서 딥러닝 모델의 평가를 가능하게 하기 위해.
• 구면 왜곡과 전체 시야 맥락을 처리할 수 있는 특화된 360° 객체 검출기 개발을 지원하기 위해.

제안 방법

• 저자들은 360° 카메라를 사용하여 복잡한 실내 환경에서 3,000장의 실세계 등방위도 이미지를 수집하였다.
• 각 이미지는 평균적으로 27개의 경계 시야(BFoV) 상자로 표시되었으며, 37개의 일반적인 실내 객체 카테고리를 포함하였다.
• BFoV는 구면 공간에서 객체 위치를 표현하기 위해 사용되었으며, 이는 전경 이미지에서 정확한 검출을 가능하게 하였다.
• 일반화와 실용적 관련성을 확보하기 위해 다양한 실세계 환경을 포함하도록 데이터셋을 구성하였다.
• 표준 객체 검출 모델(Faster R-CNN, YOLOv3, FPN)을 360-Indoor에서 미세조정하고, 평균 평균 정확도(mAP)를 사용하여 평가하였다.
• 구면 기하학에서의 성능 평가를 위해 표준 CNN 레이어의 대안으로 SphereNet 레이어(SphereConv2d, SphereMaxPool2d)를 평가하였다.

실험 결과

연구 질문

• RQ1 360-Indoor와 같은 대규모 실세계 360° 실내 객체 검출 데이터셋은 COCO 사전학습 모델 대비 표준 객체 검출기 성능 향상에 기여하는가?
• RQ2 360-Indoor에서 훈련한 결과, Faster R-CNN, YOLOv3, FPN 등의 최신 기술 수준 검출기의 mAP는 어떻게 변화하는가?
• RQ3 360-Indoor에서 직접 계산한 앵커 박스를 사용할 경우, COCO 기반 앵커 박스 대비 YOLOv3의 성능 향상이 이루어지는가?
• RQ4 360° 이미지에서 객체 검출 성능을 평가할 때, 구면 컨볼루션 레이어(SphereNet)는 표준 2D 컨볼루션과 어떻게 비교되는가?
• RQ5 360-Indoor처럼 다양한 카테고리 수를 가진 데이터셋에서 훈련한 모델의 일반화 능력은 어느 정도 향상되는가?

주요 결과

• 360-Indoor에서 훈련하면 검출 정확도가 크게 향상되며, FPN은 테스트 세트에서 33.6% mAP를 기록하였다.
• Faster R-CNN, YOLOv3, FPN 모두 360-Indoor에서 미세조정한 결과 COCO 사전학습 모델 대비 성능이 뛰어나, 이 데이터셋의 효과성을 입증하였다.
• YOLOv3의 성능은 k-means++를 사용해 360-Indoor에서 재계산한 앵커 박스를 사용할 경우 크게 향상되었으며, 이는 데이터셋에 특화된 앵커 설계의 중요성을 보여준다.
• SphereNet 레이어(SphereConv2d/SphereMaxPool2d)는 표준 Conv2d/MaxPool2d보다 성능이 열 劣하였으며, 특히 초기 학습에서 두드러졌다. 이는 기존 검출기와 더 잘 호환되는 전통적인 CNN이 더 유리함을 시사한다.
• 표준 Conv2d 레이어에 ImageNet 사전학습 가중치를 사용할 경우, SphereNet를 초기 상태에서 학습시키는 것보다 성능이 뛰어나, 사전학습의 가치를 강조한다.
• 결과적으로 360-Indoor는 아직 포화 상태가 아니며, 향후 360° 객체 검출 분야의 향상 여지가 상당히 남아 있음을 시사한다.