[論文レビュー] Time-Dynamic Estimates of the Reliability of Deep Semantic Segmentation Networks

Kira Maag, Matthias Rottmann+1 more|arXiv (Cornell University)|Nov 12, 2019

Anomaly Detection Techniques and Applications参考文献 46被引用数 4

ひとこと要約

本稿では、動画フレーム間でのセグメント追跡と時間的メトリクスの使用により、深層意味的セグメンテーションネットワークの信頼性を評価する時間的ダイナミックフレームワークを提案する。フレーム単位の不確実性メトリクスの時間系列を構築し、メタ分類およびメタ回帰モデルを適用することで、単一フレームベースラインに比べて顕著な向上が得られ、特に勾配ブースティングと長い時間系列を用いる場合に、精度で最大6.78パーセンテージポイント、R²で最大5.63パーセンテージポイントの向上を達成する。

ABSTRACT

In the semantic segmentation of street scenes with neural networks, the reliability of predictions is of highest interest. The assessment of neural networks by means of uncertainties is a common ansatz to prevent safety issues. As in applications like automated driving, video streams of images are available, we present a time-dynamic approach to investigating uncertainties and assessing the prediction quality of neural networks. We track segments over time and gather aggregated metrics per segment, thus obtaining time series of metrics from which we assess prediction quality. This is done by either classifying between intersection over union equal to 0 and greater than 0 or predicting the intersection over union directly. We study different models for these two tasks and analyze the influence of the time series length on the predictive power of our metrics.

研究の動機と目的

• 自動運転などの安全が求められる応用分野において、意味的セグメンテーションにおける時間的不確実性評価の不足に対処すること。
• 動画フレーム間の時間的整合性を活用することで、セグメンテーション予測の信頼性推定を向上させること。
• 時間系列解析のための時間的連続フレーム間での予測セグメントの関連付けを実現する軽量なトラッキング手法を開発すること。
• 時間系列メトリクスが、単一フレーム手法に比べてメタ分類（IoU > 0 か否か）およびメタ回帰（直接的なIoU予測）の性能に与える影響を調査すること。
• 時間系列長およびモデルアーキテクチャ（例：勾配ブースティング、ニューラルネットワーク）が予測信頼性に与える影響を評価すること。

提案手法

• オブジェクトの同一性を時間経過にわたって維持できる、セグメンテーションに特化した軽量トラッキングアルゴリズムを用いて、動画フレーム間での予測セグメントを追跡する。
• セグメンテーションネットワークの出力から、各セグメントに対してフレーム単位の不確実性メトリクス（例：ソフトマックスエントロピー、最大確率、MCドロップアウト分散）を抽出する。
• 各セグメントについて、これらのメトリクスの時間系列を構築し、時間的ダイナミクスと安定性を捉える。
• 時間系列をメタモデルの入力として用い、2つのタスクを実行する：(1) メタ分類（IoU > 0 かを予測）、(2) メタ回帰（実際のIoU値を予測）。
• 時間系列入力を用いて、勾配ブースティング、順方向ニューラルネットワーク、線形モデルなどの複数のモデルを訓練および評価する。
• 特に実際のアノテーションが限られる状況においては、強力な参照モデルからの擬似ラベルを活用してメタモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 動画シーケンスからの時間的情報は、単一フレーム手法に比べて意味的セグメンテーション予測の信頼性推定を向上させることができるか？
• RQ2 時間系列の長さは、メタ分類およびメタ回帰モデルの予測性能にどのように影響するか？
• RQ3 実際のアノテーションがなく、擬似ラベルのみで訓練されたメタモデルは、実際のアノテーションで訓練されたモデルと同等の性能を達成できるか、その程度はどの程度か？
• RQ4 時間系列メトリクスを入力として用いる場合、モデルアーキテクチャ（例：勾配ブースティング、ニューラルネットワーク）の中で、どのアーキテクチャが最も優れた性能を示すか？
• RQ5 時間的ダイナミクスを組み込むことで、特に長い時間系列を用いる場合に、データが少ない状況での過学習が軽減されるか？

主な発見

• 提案された時間的ダイナミックアプローチにより、単一フレームベースラインに比べてメタ分類の精度が最大6.78パーセンテージポイント向上し、AUROCも5.04パーセンテージポイント向上した。
• メタ回帰の性能はR²で5.63パーセンテージポイント向上し、勾配ブースティングと時間系列入力を用いたKITTIDATASETで最大87.51%（±0.61%）に達した。
• 実際のアノテーションがなく、擬似ラベルのみで訓練されたモデルでも、実際のアノテーションで訓練されたモデルと同等の性能に近い結果が得られたことから、完全なアノテーションがなくても信頼性の高いメタモデルを学習可能であることが示された。
• 時間系列が長くなりすぎると、特に勾配ブースティングでは、訓練データが限られている（例：VIPERデータセットで4,877セグメントのみ）ため、過学習が発生し、より長いシーケンスからの利点が制限される。
• 最も優れたモデル（時間系列特徴を用いた勾配ブースティング）は、KITTIDATASETでR²が87.51%、AUROCが88.68%を達成し、従来の単一フレーム手法を上回った。
• 時間系列入力を用いることで、すべてのデータセットおよびモデルタイプで一貫して性能向上が見られ、不確実性推定における時間的整合性の価値が裏付けられた。