[논문 리뷰] IDD: A Dataset for Exploring Problems of Autonomous Navigation in Unconstrained Environments

Girish Varma, Anbumani Subramanian외 3명|arXiv (Cornell University)|2018. 11. 26.

Advanced Neural Network Applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 인도 도로의 비정형이고 다양한 환경에서의 자율 주행 도전 과제를 해결하기 위해 10,004장의 이미지를 포함한 대규모이고 정밀하게 레이블링된 IDD 데이터셋을 소개한다. 이 데이터셋은 34개의 세분화 클래스, 혁신적인 4단계 계층 레이블 체계를 갖추고 있으며, Cityscapes에 비해 훨씬 높은 클래스 내 다양성을 보이며, 최신 세분화 모델의 성능을 크게 떨어뜨려 도메인 적응, 소수 샘플 학습, 행동 예측 분야에서의 발전을 이끌고 있음을 시사한다.

ABSTRACT

While several datasets for autonomous navigation have become available in recent years, they tend to focus on structured driving environments. This usually corresponds to well-delineated infrastructure such as lanes, a small number of well-defined categories for traffic participants, low variation in object or background appearance and strict adherence to traffic rules. We propose IDD, a novel dataset for road scene understanding in unstructured environments where the above assumptions are largely not satisfied. It consists of 10,004 images, finely annotated with 34 classes collected from 182 drive sequences on Indian roads. The label set is expanded in comparison to popular benchmarks such as Cityscapes, to account for new classes. It also reflects label distributions of road scenes significantly different from existing datasets, with most classes displaying greater within-class diversity. Consistent with real driving behaviours, it also identifies new classes such as drivable areas besides the road. We propose a new four-level label hierarchy, which allows varying degrees of complexity and opens up possibilities for new training methods. Our empirical study provides an in-depth analysis of the label characteristics. State-of-the-art methods for semantic segmentation achieve much lower accuracies on our dataset, demonstrating its distinction compared to Cityscapes. Finally, we propose that our dataset is an ideal opportunity for new problems such as domain adaptation, few-shot learning and behaviour prediction in road scenes.

연구 동기 및 목표

• 유럽 및 북미의 구조적이고 규칙 기반의 주행 환경에 집중된 기존 데이터셋의 한계를 해결하기 위해.
• 특히 인도와 같은 복잡한 교통 및 인프라를 가진 지역에서 비정형 도로의 시각적 및 행동적 다양성을 캡처하는 대규모 고품질 데이터셋을 제공하기 위해.
• 높은 클래스 내 변동성과 희귀하거나 모호한 카테고리가 포함된 데이터셋을 도입함으로써 도메인 적응, 소수 샘플 학습, 행동 예측 분야의 새로운 연구를 가능하게 하기 위해.
• 다양한 수준의 세분화 복잡성과 실세계 장면 이해에서의 모호성을 줄이기 위한 다수준 레이블 계층 체계를 개발하기 위해.
• Cityscapes에서 훈련된 최신 모델이 IDD에서 성능이 크게 떨어지는 것을 실험적으로 입증함으로써 일반화의 과제를 보여주며, 더 강력하고 다양한 훈련 데이터가 필요함을 시사하기 위해.

제안 방법

• 빛, 날씨, 교통 밀도, 도로 인프라의 극단적 변동성을 보이는 다양한 인도 도시 및 농촌 도로에서 182개의 드라이브 시퀀스를 수집하였다.
• 34개의 세분화 클래스를 포함한 10,004장의 이미지에 대해 정밀한 인스턴스 수준의 레이블링을 수행하였으며, 자동리크샤, 간판, 보도, 주행 가능한/비주행 가능한 영역과 같은 새로운 카테고리를 포함하였다.
• 다양한 해상도의 학습과 복잡한 장면에서의 모호성 감소를 위해 4단계 계층 레이블링 체계(7, 16, 26, 30개 레이블)를 설계하였다.
• 기존의 도로/차선 레이블 외에도 동적 및 정적 장애물에 의해 영향을 받는 실세계 주행 결정을 반영하기 위해 주행 가능한 영역에 대한 세분화 단서를 포함하였다.
• mIoU 및 AP 지표를 사용하여 최신 모델들(예: DeepLabV3, Mask R-CNN)을 세분화 및 인스턴스 세분화 벤치마크에서 평가하였다.
• 실패 모드와 클래스 수준의 과제를 규명하기 위해 아블레이션 연구와 혼동 행렬 분석을 수행하였으며, 자전거/오토리크샤와 간판/신호등 간의 높은 혼동 등이 확인되었다.

실험 결과

연구 질문

• RQ1 Cityscapes에서 훈련된 최신 세분화 모델의 성능이 인도의 더 다양한 비정형 주행 환경으로 일반화될 경우 어떻게 되는가?
• RQ2 IDD에서의 높은 클래스 내 외관 변동성과 배경 복잡성은 구조적 벤치마크에 비해 현재의 세분화 모델에 얼마나 큰 도전이 되는가?
• RQ3 제안된 4단계 레이블 계층 체계는 복잡한 도로 장면에서 모호성을 줄이고 다중 해상도 학습을 얼마나 효과적으로 지원하는가?
• RQ4 모델 예측에서 나타나는 주요 실패 모드와 혼동은 어떤가? 이는 픽셀 수나 시각적 유사성과 같은 클래스 수준의 특성과 어떻게 관련되어 있는가?
• RQ5 IDD는 자율 주행 분야에서 소수 샘플 학습 및 도메인 적응과 같은 새로운 학습 철학의 기준이 되는 방식은 무엇인가?

주요 결과

• Cityscapes에서 훈련된 최신 세분화 모델이 IDD에서 미세조정된 결과, mIoU 점수가 상당히 낮아졌다(예: 4단계에서 74.3%), 이는 상당한 도메인 이동과 더 높은 난이도를 시사한다.
• IDD에서 훈련된 모델은 비정형 환경에서 더 뛰어난 일반화 성능를 보이며, 종종 Cityscapes에서 훈련된 모델이 간과하는 흙진 도로나 표준 외 주행 가능한 영역을 정확히 식별한다.
• 자전거, 신호등, 울타리 등의 클래스에서 낮은 IoU 값(<25%)은 주로 픽셀 수가 적어 데이터 부족 문제를 반영한다.
• 오토리크샤와 자전거, 간판과 신호등, 식생과 벽, 기둥, 울타리 간의 높은 시각적 유사성으로 인해 혼동이 빈번히 발생하며, 이는 미세한 인식의 과제를 보여준다.
• IDD에서의 인스턴스 세분화 모델은 최대 0.376(PANet) 및 0.268(Mask R-CNN)의 AP 점수를 기록하였으며, 이는 표준 벤치마크의 성능에 비해 상당히 낮아 데이터셋의 난이도를 확인한다.
• 이 데이터셋은 주행 가능한 영역 예측이 매우 모호하고 맥락 의존적이며, 기하학적 또는 차선 기반 정의 외의 의미 정보가 필요하다는 점을 드러내며, 전통적인 세분화 접근 방식에 도전한다.