[논문 리뷰] Time-Dynamic Estimates of the Reliability of Deep Semantic Segmentation Networks

Kira Maag, Matthias Rottmann외 1명|arXiv (Cornell University)|2019. 11. 12.

Anomaly Detection Techniques and Applications참고 문헌 46인용 수 4

한 줄 요약

이 논문은 영상 프레임 간 세그먼트를 추적하고 시간적 지표를 사용하여 신뢰도 평정을 향상시키는 시간 동적 프레임워크를 제안한다. 단일 프레임 기반 방법에 비해 정확도 최대 6.78%p, R² 최대 5.63%p 향상되며, 특히 기울기 부스팅과 더 긴 시간 시리즈를 사용할 경우 뚜렷한 성능 향상이 나타난다.

ABSTRACT

In the semantic segmentation of street scenes with neural networks, the reliability of predictions is of highest interest. The assessment of neural networks by means of uncertainties is a common ansatz to prevent safety issues. As in applications like automated driving, video streams of images are available, we present a time-dynamic approach to investigating uncertainties and assessing the prediction quality of neural networks. We track segments over time and gather aggregated metrics per segment, thus obtaining time series of metrics from which we assess prediction quality. This is done by either classifying between intersection over union equal to 0 and greater than 0 or predicting the intersection over union directly. We study different models for these two tasks and analyze the influence of the time series length on the predictive power of our metrics.

연구 동기 및 목표

• 자율 주행과 같은 안전이 중요한 애플리케이션에서 시간적 불확실성 평가의 부족을 해결하기 위해.
• 영상 프레임 간 시간적 일관성을 활용하여 세그멘테이션 예측의 신뢰도 평가를 향상시키기 위해.
• 시간 시리즈 분석을 위해 연속된 프레임 간 예측 세그먼트를 연결하는 경량 추적 방법을 개발하기 위해.
• 시간 시리즈 지표가 단일 프레임 방법에 비해 메타 분류(IoU > 0 여부 예측) 및 메타 회귀(직접 IoU 예측) 성능을 얼마나 향상시키는지 조사하기 위해.
• 시간 시리즈 길이와 모델 아키텍처(예: 기울기 부스팅, 신경망)가 예측 신뢰도에 미치는 영향 평가하기 위해.

제안 방법

• 객체 정체성을 장기간 유지하기 위해 세그먼트 전용 경량 추적 알고리즘을 사용해 영상 프레임 간 예측 세그먼트를 추적하기 위해.
• 각 세그먼트에 대해 세그멘테이션 네트워크 출력에서 시간적 지표(예: 소프트맥스 엔트로피, 최고 확률, MC 드롭아웃 분산)를 추출하기 위해.
• 세그먼트별 시간적 역학성과 안정성을 포착하기 위해 이러한 지표의 시간 시리즈를 구성하기 위해.
• 시간 시리즈를 메타 모델의 입력으로 사용하여 두 가지 작업 수행하기: (1) 메타 분류(IoU > 0 여부 예측), (2) 메타 회귀(실제 IoU 값 예측)하기 위해.
• 시간 시리즈 입력에 대해 기울기 부스팅, 피드포워드 신경망, 선형 모델 등 여러 모델을 훈련 및 평가하기 위해.
• 특히 진정한 지표가 제한된 경우, 실제 애너테이션과 함께 강력한 기준 모델에서 유도한 가짜 레이블(퍼소 레이블)을 사용해 메타 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 영상 시퀀스의 시간 정보를 활용하면 단일 프레임 기반 방법에 비해 의미적 세그멘테이션 예측의 신뢰도 평가가 얼마나 향상되는가?
• RQ2 시간 시리즈 길이가 메타 분류 및 메타 회귀 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 진정한 지표 없이 가짜 레이블만으로 훈련된 메타 모델이 진정한 애너테이션으로 훈련된 모델과 비슷한 성능을 달성할 수 있는가?
• RQ4 시간 시리즈 지표를 입력으로 사용할 때 어떤 모델 아키텍처(예: 기울기 부스팅, 신경망)가 가장 우수한 성능을 보이는가?
• RQ5 특히 긴 시간 시리즈를 사용할 경우 시간 역학성을 통합함으로써 저자료 환경에서 과적합을 줄일 수 있는가?

주요 결과

• 제안된 시간 동적 접근법은 단일 프레임 기반 방법에 비해 메타 분류 정확도를 최대 6.78%p 향상시키고 AUROC를 5.04%p 향상시켰다.
• 메타 회귀 성능은 R² 기준 최대 5.63%p 향상되어 기울기 부스팅과 시간 시리즈 입력을 사용할 경우 KITTI 데이터셋에서 최대 87.51% (±0.61%)에 도달했다.
• 진정한 지표 없이 가짜 레이블만으로 훈련된 모델도 진정한 지표로 훈련된 모델과 유사한 성능을 달성하여, 완전한 애너테이션 없이도 신뢰할 수 있는 메타 모델을 학습시킬 수 있음을 시사한다.
• 시간 시리즈가 너무 길어지면 특히 기울기 부스팅 모델에서 과적합이 발생한다. 이는 훈련 데이터가 제한되어 있기 때문이며(예: VIPER 데이터셋에서 단지 4,877개 세그먼트), 더 긴 시리즈로의 성능 향상이 제한된다.
• 가장 뛰어난 성능을 보인 모델(기울기 부스팅 + 시간 시리즈 특징)은 KITTI 데이터셋에서 R² 87.51%와 AUROC 88.68%를 기록하여 이전의 단일 프레임 기반 방법을 모두 능가했다.
• 시간 시리즈 입력은 모든 데이터셋과 모델 유형에서 일관되게 성능 향상을 이끌어내어 시간적 일관성이 불확실성 추정에 있어 가치가 있음을 입증했다.