[논문 리뷰] Can Ground Truth Label Propagation from Video help Semantic Segmentation?

Siva Karthik Mustikovela, Michael Ying Yang외 1명|arXiv (Cornell University)|2016. 10. 03.

Advanced Neural Network Applications참고 문헌 33인용 수 5

한 줄 요약

이 논문은 단일 레이블링된 영상 프레임에서부터 CRF 기반의 쿠 인테그레이션 방법을 통해 후속 프레임으로 레이블을 전파하여 생성된 가짜 지도 데이터(PGT)를 사용하여 영상 분할 성능을 햖थ하려는 것을 제안한다. 실제 지도 데이터(GT)와 다양한 고품질의 PGT 데이터를 함께 사용하여 완전 컨volution 네트워크(FCN)를 훈련함으로써, 특히 PGT가 GT보다 수 배 더 많고 낮은 신뢰도를 부여할 경우 CamVid 데이터셋에서 IoU가 2.7% 향상됨을 보여주며, 노이즈가 있지만 다양한 PGT는 훈련 데이터 증강에 효과적으로 기여하고 수동 레이블링 부담을 줄일 수 있음을 시사한다.

ABSTRACT

For state-of-the-art semantic segmentation task, training convolutional neural networks (CNNs) requires dense pixelwise ground truth (GT) labeling, which is expensive and involves extensive human effort. In this work, we study the possibility of using auxiliary ground truth, so-called extit{pseudo ground truth} (PGT) to improve the performance. The PGT is obtained by propagating the labels of a GT frame to its subsequent frames in the video using a simple CRF-based, cue integration framework. Our main contribution is to demonstrate the use of noisy PGT along with GT to improve the performance of a CNN. We perform a systematic analysis to find the right kind of PGT that needs to be added along with the GT for training a CNN. In this regard, we explore three aspects of PGT which influence the learning of a CNN: i) the PGT labeling has to be of good quality; ii) the PGT images have to be different compared to the GT images; iii) the PGT has to be trusted differently than GT. We conclude that PGT which is diverse from GT images and has good quality of labeling can indeed help improve the performance of a CNN. Also, when PGT is multiple folds larger than GT, weighing down the trust on PGT helps in improving the accuracy. Finally, We show that using PGT along with GT, the performance of Fully Convolutional Network (FCN) on Camvid data is increased by $2.7\%$ on IoU accuracy. We believe such an approach can be used to train CNNs for semantic video segmentation where sequentially labeled image frames are needed. To this end, we provide recommendations for using PGT strategically for semantic segmentation and hence bypass the need for extensive human efforts in labeling.

연구 동기 및 목표

• 영상 레이블 전파로부터 유도된 가짜 지도 데이터(PGT)가 영상 분할 성능 향상에 기여하는지 조사하는 것.
• CNN 훈련에 영향을 미치는 PGT의 품질, GT 이미지로부터의 다양성, 그리고 신뢰도 가중치의 영향을 분석하는 것.
• 특히 영상 데이터에 대해 PGT를 전략적으로 활용하기 위한 실용적 권고를 제공하는 것.
• 수동으로 수행되는 고해상도 픽셀 수준의 레이블링이 비용이 많이 들기 때문에, 자동으로 생성된 PGT를 활용하여 영상 분할에서 레이블링 필요성을 줄이는 것.

제안 방법

• PGT는 단일 레이블링 프레임에서부터 CRF 기반의 쿠 통합 프레임워크를 사용하여 후속 영상 프레임으로 지도 레이블을 전파함으로써 생성된다.
• 이 방법은 외관 및 운동 쿠를 통합하여 영상 시퀀스 전반에 걸쳐 시간적으로 일관되지만 노이즈가 있는 PGT 레이블을 생성한다.
• 훈련 중에 PGT 샘플이 GT와 다른 영향을 미치도록 손실 함수에 신뢰도 요소를 도입하여 제어 가능한 영향을 부여한다.
• 실험은 균형 잡힌 GT 및 PGT 훈련과 다수 배 더 많은 PGT를 사용하는 경우를 비교하며, 다양한 누적 순서(순차적 대비 시각적 평가 기반)를 사용한다.
• FCN 모델은 GT 및 PGT 데이터를 함께 사용하여 훈련되며, 주요 평가 지표로 IoU가 사용된다.
• 신뢰도 요소를 체계적으로 변화시켜 모델 일반화 및 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 실제 지도 데이터만 사용하는 것과 비교해, 영상 레이블 전파로부터 유도된 가짜 지도 데이터(PGT)를 사용할 경우 영상 분할 성능이 향상되는가?
• RQ2 GT에 비해 PGT의 품질과 다양성이 영상 분할에서 CNN 성능에 어떤 영향을 미치는가?
• RQ3 GT에 비해 PGT 샘플이 수 배 더 많을 경우, PGT 데이터에 적절한 신뢰도 수준은 무엇인가?
• RQ4 PGT 데이터 누적 순서(순차적 대비 시각적 평가 기반)가 모델 정확도에 영향을 미치는가?

주요 결과

• GT 이미지와 다양하고 레이블링 품질이 양호한 PGT 데이터를 추가로 사용할 경우, CamVid에서 FCN의 IoU 정확도가 2.7% 향상된다.
• PGT 샘플이 GT보다 수 배 더 많을 경우, PGT에 낮은 신뢰도 요소(예: 0.5)를 할당하면 모델 정확도가 뚜렷이 향상된다.
• 시각적 평가 기반의 PGT 누적 방식(이미지 유사도 기반)은 순차적 누적 방식보다 성능이 뛰어나며, 특히 PGT가 다수일 경우 레이블 모호성이 감소하기 때문이다.
• 최고의 정확도 51.5%는 낮은 신뢰도 요소로 PGT를 누적했을 때 도달되며, 이는 적절한 순서와 신뢰도 가중치가 매우 중요하다는 것을 시사한다.
• PGT 데이터의 누적이 적절한 선택과 신뢰도 가중치 없이 그 자체로 성능 향상을 보장하지는 않지만, 영상 분할 작업에 있어서는 실현 가능하다.
• 결과적으로, 전략적 신뢰도 및 다양성 고려가 병행될 경우, PGT는 수동 레이블링의 실질적인 대안이 될 수 있으며, 특히 영상 기반 영상 분할에서 유용하다.