[논문 리뷰] Highway Driving Dataset for Semantic Video Segmentation

Byungju Kim, Junho Yim외 1명|arXiv (Cornell University)|2020. 11. 02.

Advanced Image and Video Retrieval Techniques인용 수 15

한 줄 요약

이 논문은 30Hz로 고프레임레ート(30Hz)로 촬영된 20개의 영상 시퀀스를 포함하는 고밀도 시간적·공간적 영상 기준 데이터셋인 Highway Driving 데이터셋을 소개한다. 이는 픽셀 수준에서 완전히 애노테이션 처리된 영상 세그멘테이션을 위한 시간적·공간적 밀도가 높은 영상 기준 데이터셋이다. 또한 실시간 추론을 달성하면서도 경쟁력 있는 정확도를 유지하면서 런타임을 크게 줄이는 경량의 순환 기반 기준 모델을 제안한다. 이는 시간적 상관관계를 활용하여 프라밍 주파수 제어를 통해 성능를 유지하면서도 런타임을 감소시킨다.

ABSTRACT

Scene understanding is an essential technique in semantic segmentation. Although there exist several datasets that can be used for semantic segmentation, they are mainly focused on semantic image segmentation with large deep neural networks. Therefore, these networks are not useful for real time applications, especially in autonomous driving systems. In order to solve this problem, we make two contributions to semantic segmentation task. The first contribution is that we introduce the semantic video dataset, the Highway Driving dataset, which is a densely annotated benchmark for a semantic video segmentation task. The Highway Driving dataset consists of 20 video sequences having a 30Hz frame rate, and every frame is densely annotated. Secondly, we propose a baseline algorithm that utilizes a temporal correlation. Together with our attempt to analyze the temporal correlation, we expect the Highway Driving dataset to encourage research on semantic video segmentation.

연구 동기 및 목표

• 자율주행 시나리오를 위한 시간적으로 밀도 높은 영상 세그멘테이션 데이터셋의 부족을 해결한다.
• 정확도를 희생시키지 않고 추론 시간을 단축시켜 실시간 영상 세그멘테이션을 가능하게 한다.
• 영상 세그멘테이션 연구를 위한 고시간적·공간적 애노테이션 밀도를 가진 기준 데이터셋을 제공한다.
• 시간적 상관관계를 활용하여 추론 속도를 향상시키는 기준 알고리즘을 개발한다.
• 각 프레임에 대해 고비용의 깊은 네트워크를 사용하지 않고도 시간적 일관성을 활용하여 성능을 향상시킬 수 있음을 보여준다.

제안 방법

• 고속도로 주행 시나리오에서 촬영한 20개의 고프레임레ート(30Hz) 영상 시퀀스를 수집하고 픽셀 수준에서 완전히 애노테이션 처리한다.
• 시간적 일관성을 확보하기 위해 프레임을 순차적으로 애노테이션 처리한다.
• 느린 정확도가 높은 프라밍 네트워크와 빠르고 경량인 근사 네트워크로 구성된 이중 분지 네트워크를 제안한다.
• 순환 프레임워크를 사용하여 프라밍 네트워크의 예측 결과를 근사 네트워크를 통해 후속 프레임으로 전파한다.
• 프라밍 네트워크의 추론 주파수를 조절하여 정확도와 런타임 사이의 균형을 조절한다.
• 지식 정복과 시간적 일관성 손실을 사용하여 근사 네트워크가 프라밍 네트워크의 출력을 모방하도록 훈련한다.

실험 결과

연구 질문

• RQ1 시간적 상관관계를 활용함으로써 최소한의 런타임으로도 높은 정확도를 달성할 수 있는 영상 세그멘테이션 모델이 존재하는가?
• RQ2 애노테이션의 시간 밀도가 영상 세그멘테이션 모델의 성능와 신뢰성에 어떤 영향을 미치는가?
• RQ3 더 깊고 정확도가 높은 네트워크로부터 주기적으로 예측을 받는 경량 네트워크가 얼마나 정확도를 유지할 수 있는가?
• RQ4 실시간 영상 세그멘테이션 시스템을 설계할 수 있으며, 이는 최신 기술 수준의 모델과 비교해도 성능을 유사하게 유지할 수 있는가?
• RQ5 프라밍 주파수가 추론 속도와 세그멘테이션 정확도 사이의 트레이드오���에 어떤 영향을 미치는가?

주요 결과

• Highway Driving 데이터셋은 30Hz 프레임 레이트를 가진 20개의 영상 시퀀스를 제공하며, CamVid(1Hz)와 비교해 더 높은 시간적 밀도를 확보한다.
• 제안된 기준 알고리즘은 더 강력한 모델과 유사한 성능을 달성하면서도 런타임을 크게 줄였다. 성능은 프라밍 주파수 조절을 통해 제어할 수 있다.
• 재프라밍 없이도 59프레임 동안 높은 품질의 예측을 유지하여 순환 프레임워크를 통한 효과적인 시간적 전파를 입증했다.
• 정성적 결과에서는 모델이 장면의 일관성을 유지하고 움직이는 물체를 정확하게 세그멘테이션하는 것으로 나타났으며, 특히 고밀도 시간적 애노테이션이 제공된 경우에 뚜렷한 성능 향상을 보였다.
• 알고리즘이 잘 일반화되었음을 검증하였으며, CamVid 데이터셋에서도 피지컬 테스트 없이도 일관된 성능을 보였다.
• 런타임은 DRN 기준으로 정규화되었으며, 표준 모델보다 더 빠른 추론 속도를 확보하면서도 경쟁력 있는 정확도를 유지함으로써 시간적 상관관계가 계산 부담을 줄이는 데 효과적임을 입증했다.