[논문 리뷰] Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer

Jun Xie, Martin Kiefel외 2명|arXiv (Cornell University)|2015. 11. 10.

Advanced Vision and Imaging참고 문헌 43인용 수 22

한 줄 요약

이 논문은 스테레오 또는 레이저 스캔에서 유도한 3D 의미적 인스턴스 애너테이션을 활용하여 스트리트 샷에 대한 조밀하고 시간적으로 일관된 2D 의미적 인스턴스 레이블을 생성하는 3D에서 2D로의 레이블 전이 방법을 제안한다. 3D 포인트, 2D 픽셀, 기하 구속 조건을 동시에 고려하는 비국소 다중 분야 CRF 모델을 사용함으로써, 이 방법은 레이블링 시간을 최대 90% 감소시키면서 정확도를 향상시키고 불확실성 인식이 가능한 반조밀한 레이블링을 가능하게 하여, 새로운 농촌 영상 데이터셋에서 400만 장의 애너테이션된 이미지를 확보하였다.

ABSTRACT

Semantic annotations are vital for training models for object recognition, semantic segmentation or scene understanding. Unfortunately, pixelwise annotation of images at very large scale is labor-intensive and only little labeled data is available, particularly at instance level and for street scenes. In this paper, we propose to tackle this problem by lifting the semantic instance labeling task from 2D into 3D. Given reconstructions from stereo or laser data, we annotate static 3D scene elements with rough bounding primitives and develop a model which transfers this information into the image domain. We leverage our method to obtain 2D labels for a novel suburban video dataset which we have collected, resulting in 400k semantic and instance image annotations. A comparison of our method to state-of-the-art label transfer baselines reveals that 3D information enables more efficient annotation while at the same time resulting in improved accuracy and time-coherent labels.

연구 동기 및 목표

• 스트리트 샷에 대해 대규모의 인스턴스 수준 의미적 애너테이션의 고비용 노동력과 부족 문제를 해결하기 위해.
• 기하학적 및 외관 특징을 활용하여 3D 인스턴스 레이블을 2D 이미지로 전이함으로써 레이블링 시간을 단축하고 레이블 일관성을 향상시키기 위해.
• 확률적 추론을 통한 레이블 신뢰도 추정을 통해 불확실성 인식이 가능한 반조밀한 레이블링을 가능하게 하기 위해.
• 400만 장의 이미지, 100만 개의 레이저 스캔, 3D 의미적 인스턴스 애너테이션을 포함한 새로운 대규모 농촌 영상 데이터셋을 제작하고 공개하기 위해.
• 3D 정보가 최신 2D 전용 레이블 전이 방법보다 더 정확하고 효율적인 2D 레이블링을 가능하게 하는지 입증하기 위해.

제안 방법

• 3D 의미적 인스턴스 애너테이션은 스테레오 또는 레이저 데이터로부터 생성된 3D 재구성도에서 근사적인 경계 기반 도형을 사용하여 시작된다.
• 비국소 다중 분야 CRF 모델은 3D 포인트, 2D 이미지 픽셀, 기하 구속 조건을 동시에 고려하여 3D에서 2D로 레이블을 전이한다.
• CRF는 투영된 3D 포인트에서 유도된 외관 특징, 3D 포인트 간의 쌍별 관계, 3D 기반 도형에서 유도된 의미/인스턴스 제약 조건을 포함한다.
• 모델은 의미 분할과 인스턴스 분할을 동시에 최적화할 수 있도록 설계된 공동 손실 함수를 포함하며, 원칙적인 최적화를 통해 엔드 투 엔드 학습이 가능하다.
• 레이블 불확실성은 국소 레이블 분포의 엔트로피를 통해 추정되며, 이는 고신뢰도 영역에서 반조밀 추론을 가능하게 한다.
• 프레임 간 단일 3D 객체에 대응하는 2D 레이블을 연결함으로써 시간적 일관성을 지원한다.

실험 결과

연구 질문

• RQ1 3D 애너테이션은 스트리트 샷에서 2D 의미적 인스턴스 레이블링에 소요되는 시간과 노력을 크게 줄일 수 있는가?
• RQ2 3D 기하학적 추론을 통합할 경우 2D 전용 기준 대비 2D 레이블 전이의 정확도와 일관성이 향상되는가?
• RQ3 단일 3D 애너테이션으로도 영상 프레임 간에 시간적으로 일관된 인스턴스 수준의 애너테이션을 생성할 수 있는가?
• RQ4 확률적 모델에서 유도된 불확실성 추정은 반조밀 추론을 통해 레이블링 효율성을 얼마나 향상시키는가?
• RQ5 3D 기반 도형 제약 조건과 3D 쌍별 관계의 통합은 복잡한 환경에서 경계 구분을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 수동 2D 레이블링 대비 레이블링 시간을 최대 90% 감소시켰으며, 2D로 레이블링하는 데 200시간이 소요되는 장면을 3시간의 3D 레이블링으로 처리할 수 있었다.
• 반조밀 추론을 통해 가장 확신도가 높은 90%의 픽셀만 예측할 경우, Jaccard 지수(JI)는 94.9%에 도달하고 정확도는 97.4%에 달했다.
• 절단 분석 결과, 비국소 다중 분야 CRF의 각 구성 요소—특히 3D에서 2D로의 대응 관계—가 성능 향상에 기여하였으며, 특히 3D-2D 동시 추론이 가장 큰 성능 향상을 이끌었다.
• 의미 분할 및 인스턴스 분할 모두에서 최신 2D 레이블 전이 기준보다 뛰어난 성능을 보였으며, 인스턴스 분할 결과는 의미 분할 수준과 유사한 성능을 기록했다.
• 2D 전용 방법보다 복잡한 경계(예: 건물 앞에 있는 나무) 처리 능력이 뛰어나지만, 저대비 또는 가림 영역에서는 여전히 오류가 존재했다.
• 데이터셋 공개에는 400만 장의 이미지, 100만 개의 레이저 스캔, 3D 의미적 인스턴스 애너테이션이 포함되어 있어 향후 3D 인식 2D 분할 연구를 위한 기반을 마련했다.