[논문 리뷰] BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning

Fisher Yu, Haofeng Chen외 6명|arXiv (Cornell University)|2018. 05. 12.

Advanced Neural Network Applications참고 문헌 36인용 수 204

한 줄 요약

본 논문은 BDD100K를 소개한다. 이는 10개의 이질적인 태스크와 이질적 다중태스크 학습 벤치마크를 갖춘 대규모이고 다양성 있는 주행 비디오 데이터셋이며, 도메인 시프트 및 학습 전략에 대한 분석을 포함한다.

ABSTRACT

Datasets drive vision progress, yet existing driving datasets are impoverished in terms of visual content and supported tasks to study multitask learning for autonomous driving. Researchers are usually constrained to study a small set of problems on one dataset, while real-world computer vision applications require performing tasks of various complexities. We construct BDD100K, the largest driving video dataset with 100K videos and 10 tasks to evaluate the exciting progress of image recognition algorithms on autonomous driving. The dataset possesses geographic, environmental, and weather diversity, which is useful for training models that are less likely to be surprised by new conditions. Based on this diverse dataset, we build a benchmark for heterogeneous multitask learning and study how to solve the tasks together. Our experiments show that special training strategies are needed for existing models to perform such heterogeneous tasks. BDD100K opens the door for future studies in this important venue.

연구 동기 및 목표

• 풍부한 다층 준정보를 갖춘 대규모의 다양성 있는 주행 비디오 데이터셋을 제공한다.
• 다양한 출력 구조를 가진 픽셀 수준, 영역 기반, 시간적 태스크를 포함한 광범위한 태스크 세트를 지원하여 이질적 다중태스크 학습을 가능하게 한다.
• 주행 시나리오에서 동질적, 계단식, 이질적 다중태스크 학습에 대한 벤치마크와 기준선을 확립한다.
• 태스크 다양성과 데이터 도메인이 교차 태스크 전이 및 일반화에 미치는 영향을 연구한다.
• 다양한 태스크에서 성능을 향상시키기 위한 주석 예산 배분 전략을 조사한다.

제안 방법

• 실제 도로의 100K 주행 비디오(720p, 30fps)를 크라우드 소싱 영상 및 GPS/IMU 데이터를 이용해 수집하고 주석을 달았다.
• 이미지 태깅, 차선 탐지, 주행 가능 영역 분할, 도로 객체 탐지, 의미론적 분할, 인스턴스 분할, 다중 객체 추적(MOT), MOT와 분할(MOTS), 도메인 적응, 모방 학습을 포함한 10개의 태스크를 제공한다.
• 동질적, 계단식, 이질적 다중태스크 설정에서 기본 방법을 평가하여 다양한 태스크 출력에 대한 학습 필요성을 드러낸다.
• 도메인 내부 성능과 교차 도메인 성능(Cityscapes vs. BDD100K, 낮/밤 등)을 비교하여 도메인 시프트의 영향을 분석한다.
• 탐지와 추적 간의 보완 관계를 분석하고 (예: 탐지가 추적을 돕고 탐지가 분할을 돕는) 태스크 계단식 구성이 교차 태스크 이익 및 예산 배분에 미치는 영향을 이해한다.

실험 결과

연구 질문

• RQ1 하나의 모델이 서로 다른 출력 구조를 가진 이질적 주행 태스크들에서 어떻게 성능을 발휘하는가?
• RQ2 BDD100K와 다른 주행 데이터셋 사이에 존재하는 도메인 시프트는 무엇이며, 이것이 탐지 및 분할에 어떤 영향을 미치는가?
• RQ3 공동 또는 계단식 다중태스크 학습이 더 비싼 태스크의 성능을 더 저렴한 주석으로도 개선할 수 있는가?
• RQ4 이질적 다중태스크 학습에서 태깅 예산을 어떻게 배분하여 태스크 간 성능을 최대화할 수 있는가?
• RQ5 추적(MOT/MOTS)과 분할을 탐지 및 분할과 결합하는 것이 하나의 프레임워크에서의 도전과 이점은 무엇인가?

주요 결과

• 데이터세트는 이질적 다중태스크 학습을 가능하게 하며, 이질적 태스크 조합에 대해 특별한 학습 전략이 필요함을 시사한다.
• 데이터세트와 조건 간의 상당한 도메인 차이가 있으며(예: 낮/밤; 도시 vs. 비도시) 객체 탐지 성능에 영향을 준다.
• 공동 학습과 계단식 다중태스크 설정은 특정 태스크에서 성능을 개선할 수 있으며(예: 인스턴스 분할은 탐지 데이터의 이점이 있고; MOTS는 상류의 탐지/분할 신호에서 이득을 얻는다).
• 다양하지만 더 간단한 태스크를 추가하여 더 복잡한 태스크를 지원하면 주석 예산이 제한된 경우에도 성능이 향상될 수 있으며, 이익은 태스크 및 데이터 크기에 따라 다르다.
• Cityscapes 대 BDD100K로 학습될 때 시맨틱 분할과 객체 탐지에 뚜렷한 도메인 시프트가 나타나며, 이로써 새로운 데이터세트의 보완적 가치가 확인된다.