[論文レビュー] Application of Decision Rules for Handling Class Imbalance in Semantic Segmentation

Robin Chan, Matthias Rottmann+3 more|arXiv (Cornell University)|Jan 24, 2019

Anomaly Detection Techniques and Applications参考文献 19被引用数 38

ひとこと要約

論文は、ピクセル単位の意味セグメンテーションにおけるBayes (MAP) と Maximum Likelihood の決定規則を、不均衡な街路シーンデータセットで比較し、ML は希少クラスのリコールを改善するが誤検出を増やし、全体の mIoU を低下させることを示す。

ABSTRACT

As part of autonomous car driving systems, semantic segmentation is an essential component to obtain a full understanding of the car's environment. One difficulty, that occurs while training neural networks for this purpose, is class imbalance of training data. Consequently, a neural network trained on unbalanced data in combination with maximum a-posteriori classification may easily ignore classes that are rare in terms of their frequency in the dataset. However, these classes are often of highest interest. We approach such potential misclassifications by weighting the posterior class probabilities with the prior class probabilities which in our case are the inverse frequencies of the corresponding classes in the training dataset. More precisely, we adopt a localized method by computing the priors pixel-wise such that the impact can be analyzed at pixel level as well. In our experiments, we train one network from scratch using a proprietary dataset containing 20,000 annotated frames of video sequences recorded from street scenes. The evaluation on our test set shows an increase of average recall with regard to instances of pedestrians and info signs by $25\%$ and $23.4\%$, respectively. In addition, we significantly reduce the non-detection rate for instances of the same classes by $61\%$ and $38\%$.

研究の動機と目的

• 自動運転の意味セグメンテーションにおける極端なクラス不均衡の取り扱いを動機づける。
• クラス priors の局所化としてピクセル-wise priors を調査する。
• 独自の不均衡データセットでの推論時に ML と Bayes の決定規則を評価する。
• 希少クラスと一般クラスの精度、リコール、IoU を分析する。
• 不確実性とアクティブラーニングの観点で、両決定規則を組み合わせる／活用する洞察を提供する。

提案手法

• トレーニングセットから計算したピクセル-wise priors を用いて、学習を変更せずに推論時の ML 決定規則をバiasする。
• FRRN ベースの意味セグメンテーションに対して、ピクセルレベルで Bayes (MAP) と Maximum Likelihood の決定規則を比較する。
• ガウスフィルタで priors を平滑化し、ゼロ除算を避ける下限を適用する。
• mIoU、精度、リコール、IoU 指標を用いて 200 テスト画像・12 クラスで評価する。
• 推論時にモンテカルロ dropout を使用して ML の予測を安定させ、連結成分を後処理する。

実験結果

リサーチクエスチョン

• RQ1 不均衡な街路シーンデータセットで、推論時に Bayes を ML に置換することで希少クラス（例：PERSON、INFO SIGN）の検出は改善されるか？
• RQ2 ML を使用した場合の希少クラスのリコール向上と全体のセグメンテーション品質（mIoU）のトレードオフはどうなるか？
• RQ3 局所的なピクセル-wise priors は誤分類を緩和できるか、ML は標準の Bayes 予測とどのように相互作用するか？
• RQ4 Bayes と ML のハイブリッド利用は、不確実性と潜在的なアクティブラーニングの機会をどのように示唆するか？

主な発見

• ML は PERSON や INFO SIGN のような希少クラスのリコールを Bayes と比較して向上させる。
• 全体の mIoU はテストセットで Bayes の方が ML より高い（Bayes 68.8 対 ML 63.6）。
• ML は希少クラスで偽陽性を多く生み、精度が Bayes より低くなる（例：PERSON：Bayes 61.1 対 ML 37.4；INFO：Bayes 67.6 対 ML 36.9）。
• ML は希少クラスの未検出率を低減する（例：PERSON：Bayes は約36% の ground-truth object を見逃すが ML は約17%）。
• Bayes は高い精度を提供し、ML は希少クラスの高いリコールを提供する；両方を組み合わせれば、ロバストな不確実性マスクとアクティブラーニングを導くことができる。