[논문 리뷰] Distantly Supervised Road Segmentation

Satoshi Tsutsui, Tommi Kerola외 1명|arXiv (Cornell University)|2017. 08. 21.

Automated Road and Building Extraction참고 문헌 28인용 수 5

한 줄 요약

이 논문은 비용이 많이 드는 픽셀 수준의 레이블 대신 이미지 수준의 레이블만을 사용하여 완전 컨volution 신경망(FCN)을 훈련시켜 도로 세분화를 수행하는 원거리 지도 학습 방법을 제안한다. ImageNet, Places와 같은 일반적인 이미지 데이터베이스에서의 주목도 맵을 활용하고 슈퍼픽셀과 조합함으로써 반복적인 FCN 훈련을 위한 약한 픽셀 수준의 마스크를 생성하며, 이로 인해 완전 지도 학습 모델의 성능의 93.8%를 달성하면서도 annotation 노력의 수십만 분의 일 수준으로 감소시킨다.

ABSTRACT

We present an approach for road segmentation that only requires image-level annotations at training time. We leverage distant supervision, which allows us to train our model using images that are different from the target domain. Using large publicly available image databases as distant supervisors, we develop a simple method to automatically generate weak pixel-wise road masks. These are used to iteratively train a fully convolutional neural network, which produces our final segmentation model. We evaluate our method on the Cityscapes dataset, where we compare it with a fully supervised approach. Further, we discuss the trade-off between annotation cost and performance. Overall, our distantly supervised approach achieves 93.8% of the performance of the fully supervised approach, while using orders of magnitude less annotation work.

연구 동기 및 목표

• 자율주행 시스템에서 픽셀 수준의 도로 세분화에 대한 높은 annotation 비용을 줄이기 위해.
• 자동차 중심의 이미지에 대해 픽셀 수준의 annotation이 전혀 필요 없이 완전 컨volution 신경망(FCN)을 도로 세분화에 대해 훈련시킬 수 있도록 하기 위해.
• 약한 지도 학습에서 annotation 비용과 세분화 성능 사이의 트레이드오프를 탐색하기 위해.
• 외부 이미지 데이터베이스를 약한 지도 학습으로 사용한 원거리 지도 학습의 타당성과 효능을 평가하기 위해.
• 약한 지도 학습 훈련이 오직 이미지 수준의 레이블만으로도 거의 지도 학습 성능에 도달할 수 있음을 보여주기 위해.

제안 방법

• ImageNet과 Places의 이미지 수준 레이블을 사용하여 일반적인 이미지에서 주목도 검출기를 훈련시키며, 이는 자동차 중심의 도로 이미지와는 다릅니다.
• 사전 훈련된 모델에서 생성된 주목도 맵을 자동차 중심 이미지에 적용하여 약한, 노이즈가 있는 픽셀 수준의 도로 마스크를 생성합니다.
• 자동차 중심 이미지에서 슈퍼픽셀을 추출하여 생성된 마스크의 공간 일관성을 향상시킵니다.
• 약한 마스크를 사용하여 도로 세분화를 위한 FCN를 반복적으로 훈련시키며, 자기 훈련을 통해 성능을 향상시킵니다.
• 이 방법은 FCN의 아키텍처에 변화를 주지 않으며 표준 훈련 파ip라인과 호환됩니다.
• 실제 픽셀 수준의 annotation의 일부를 사용하여 미세 조정함으로써 성능을 향상시켜, 완전 지도 학습의 mIOU의 96.5%를 달성했습니다.

실험 결과

연구 질문

• RQ1 원거리 지도 학습이 오직 이미지 수준의 레이블만을 사용하여 높은 성능의 도로 세분화를 달성할 수 있는가?
• RQ2 Cityscapes 데이터셋에서 약한 지도 학습 FCN의 성능은 완전 지도 학습 기준선과 비교해 어떻게 되는가?
• RQ3 약한 지도 학습 도로 세분화에서 annotation 비용과 세분화 정확도 사이의 트레이드오프는 어떠한가?
• RQ4 일반적인 이미지 데이터베이스에서의 주목도 맵을 자동차 중심 도로 세분화에 효과적으로 전이할 수 있는가?
• RQ5 약한 지도 학습 마스크를 기반으로 반복적인 훈련이 최종 세분화 정확도를 향상시키는가?

주요 결과

• 원거리 지도 학습 방법은 Cityscapes 데이터셋에서 완전 지도 학습 기준선의 평균 교차율(mIOU)의 93.8%를 달성했다.
• 약한 마스크를 기반으로 훈련한 결과 세분화 성능이 향상되었으며, 자기 훈련을 여러 차례 반복한 후 mIOU가 0.80으로 상승했다.
• 실제 픽셀 수준의 annotation의 60%만을 사용하여 약한 지도 학습 모델을 미세 조정한 결과, mIOU가 0.855에 도달하여 완전 지도 학습 모델과 거의 동일한 성능을 보였다.
• 모든 실제 픽셀 수준의 annotation을 사용하여 미세 조정한 최종 모델은 mIOU가 0.863에 도달하여 완전 지도 학습 기준선을 초월했다.
• annotation 비용은 완전 지도 학습 기준선의 1% 미만으로 줄었으며, 약 0.6시간 대비 65.3시간으로 추정되었다.
• 이 방법은 외부 데이터베이스에서 온 약한 지도 학습이 도로 세분화에서 비용이 많이 드는 픽셀 수준 annotation을 효과적으로 대체할 수 있음을 보여준다.