[논문 리뷰] TrackletMapper: Ground Surface Segmentation and Mapping from Traffic Participant Trajectories

Jannik Zürn, S. M. Weber외 1명|arXiv (Cornell University)|2022. 09. 12.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

TrackletMapper는 인간 레이블이 없는 상태에서 보행자 및 차량의 궤적을 이용하여 도로, 보도, 횡단보도와 같은 지면 표면의 의미적 세분화를 위한 자기지도 학습 프레임워크를 제안한다. 이 방법은 이러한 트랙렛을 자동차 시점 이미지로 투영하고 집계된 표면 맵을 통한 자기지식 전이를 활용하여, 차량 중심 데이터셋에서 발생하는 도메인 차이가 큰 보행자 중심 도시 환경에서 특히 높은 세분화 정확도를 달성한다.

ABSTRACT

Robustly classifying ground infrastructure such as roads and street crossings is an essential task for mobile robots operating alongside pedestrians. While many semantic segmentation datasets are available for autonomous vehicles, models trained on such datasets exhibit a large domain gap when deployed on robots operating in pedestrian spaces. Manually annotating images recorded from pedestrian viewpoints is both expensive and time-consuming. To overcome this challenge, we propose TrackletMapper, a framework for annotating ground surface types such as sidewalks, roads, and street crossings from object tracklets without requiring human-annotated data. To this end, we project the robot ego-trajectory and the paths of other traffic participants into the ego-view camera images, creating sparse semantic annotations for multiple types of ground surfaces from which a ground segmentation model can be trained. We further show that the model can be self-distilled for additional performance benefits by aggregating a ground surface map and projecting it into the camera images, creating a denser set of training annotations compared to the sparse tracklet annotations. We qualitatively and quantitatively attest our findings on a novel large-scale dataset for mobile robots operating in pedestrian areas. Code and dataset will be made available at http://trackletmapper.cs.uni-freiburg.de.

연구 동기 및 목표

• 차량 중심 데이터셋에서 학습된 의미적 세분화 모델이 보행자 환경에 배포될 때 발생하는 도메인 갭을 해결하기 위해.
• 보행자 시점 영상에 대한 비용이 많이 드는 인간 레이블링이 필요 없도록, 관찰 가능한 교통 참가자 궤적을 활용하기 위해.
• 로봇이 수집한 데이터로부터 다중 클래스 지면 표면 세분화(도로, 보도, 횡단보도 포함)를 위한 확장 가능한 자동 레이블링 파이프라인을 개발하기 위해.
• 집계된 의미적 표면 맵을 통한 자기지식 전이를 통해 모델의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 로봇의 자동차 시점 궤적과 추적된 물체 궤적(보행자, 차량)을 자동차 시점 카메라 이미지로 투영하여 희박한 다중 클래스 픽셀 수준의 레이블을 생성한다.
• 물체 유형(예: 보행자 대비 차량)을 이용해 지면 표면 레이블을 추론한다: 보행자는 보도 또는 보행자 구역을 의미하고, 차량은 도로 또는 횡단보도를 의미한다.
• 프레임 간 모델 예측을 공간적으로 집계하여 조밀한 의미적 표면 맵을 구성함으로써 레이블 일관성과 커버리지 향상을 도모한다.
• 집계된 표면 맵을 다시 카메라 이미지 공간으로 재투영하여 합성된 조밀한 학습 레이블을 생성함으로써 지식 전이를 적용한다.
• 희박한 트랙렛 레이블과 추출된 조밀한 레이블을 함께 사용하여 의미적 세분화 모델을 엔드 투 엔드로 훈련시켜 성능을 향상시킨다.
• 도시 보행 지역을 주행하는 모바일 로봇을 통해 수집한 새로운 대규모 데이터셋인 Freiburg Pedestrian Scenes를 활용한다.

실험 결과

연구 질문

• RQ1 인간 레이블 없이도 교통 참가자 궤적을 신뢰성 있게 이용해 지면 표면의 의미적 레이블을 생성할 수 있는가?
• RQ2 궤적 기반 레이블링 통합이 자동차 시점 궤적만을 사용하는 감독 방식에 비해 여러 지면 표면 클래스에서 세분화 정확도에 어떤 영향을 미치는가?
• RQ3 집계된 표면 맵을 통한 자기지식 전이가 표준 감독 방식에 비해 모델 성능 향상에 얼마나 기여하는가?
• RQ4 불일치하는 교통 행동이나 센서 노이즈와 같은 실제 환경의 변동성에 대해 레이블링 파이프라인이 얼마나 견고한가?
• RQ5 시각적으로 유사한 지면 표면(예: 보도와 횡단보도)이 존재하는 복잡한 도시 환경에서도 제안된 방법이 일반화 가능한가?

주요 결과

• 보행자 외의 클래스를 제외한 모든 클래스에서 트랙렛 기반 레이블링 방법이 자동차 시점 궤적 전용 감독보다 우수한 성능을 보이며, 다양한 교통 참가자 행동의 활용 가치를 입증한다.
• 집계된 표면 맵을 통한 자기지식 전이로 IoU 점수에 측정 가능한 향상이 있었으며, 이는 레이블의 밀도와 일관성 증가 때문으로 기인된다.
• TrackletMapper 레이블로 훈련된 모델은 Vistas 데이터셋으로 훈련된 모델보다 더 잘 일반화되며, 차량 중심 데이터셋에서 흔히 발생하는 시점 유도적 편향을 줄인다.
• 정성적 결과에서는 세분화 마스크가 지표와 잘 일치하는 것으로 나타났지만, 횡단보도와 인접한 도로 및 보도 영역을 구분하는 데 어려움이 남아 있다.
• 한계로는 특히 횡단보도 영역에서 클래스 혼합 현상이 발생하고, 정확한 위치 추정, 校정 오차, 또는 횡단보도 위반 행동(예: 횡단보도 없이 건너기)에 민감하게 반응하는 경향이 있다.