[論文レビュー] Can Ground Truth Label Propagation from Video help Semantic Segmentation?

Siva Karthik Mustikovela, Michael Ying Yang+1 more|arXiv (Cornell University)|Oct 3, 2016

Advanced Neural Network Applications参考文献 33被引用数 5

ひとこと要約

本論文では、1つのアノテート済み動画フレームからラベルを伝搬させることで、CRFベースのキュー統合手法を用いて生成される疑似正例（PGT）を用いることで、セマンティックセグメンテーションの性能を向上させることを提案している。実際の正例（GT）と、多様で高品質なPGTデータを併用して完全畳み込みネットワーク（FCN）を訓練することで、特にPGTが数倍多く、信頼度を低く設定した場合、CamVidデータセットにおけるIoUスコアが2.7%向上した。これは、ノイズを含んではいるが多様なPGTが、訓練データの拡張に効果的であり、手作業によるアノテーションの負担を軽減できることを示している。

ABSTRACT

For state-of-the-art semantic segmentation task, training convolutional neural networks (CNNs) requires dense pixelwise ground truth (GT) labeling, which is expensive and involves extensive human effort. In this work, we study the possibility of using auxiliary ground truth, so-called extit{pseudo ground truth} (PGT) to improve the performance. The PGT is obtained by propagating the labels of a GT frame to its subsequent frames in the video using a simple CRF-based, cue integration framework. Our main contribution is to demonstrate the use of noisy PGT along with GT to improve the performance of a CNN. We perform a systematic analysis to find the right kind of PGT that needs to be added along with the GT for training a CNN. In this regard, we explore three aspects of PGT which influence the learning of a CNN: i) the PGT labeling has to be of good quality; ii) the PGT images have to be different compared to the GT images; iii) the PGT has to be trusted differently than GT. We conclude that PGT which is diverse from GT images and has good quality of labeling can indeed help improve the performance of a CNN. Also, when PGT is multiple folds larger than GT, weighing down the trust on PGT helps in improving the accuracy. Finally, We show that using PGT along with GT, the performance of Fully Convolutional Network (FCN) on Camvid data is increased by $2.7\%$ on IoU accuracy. We believe such an approach can be used to train CNNs for semantic video segmentation where sequentially labeled image frames are needed. To this end, we provide recommendations for using PGT strategically for semantic segmentation and hence bypass the need for extensive human efforts in labeling.

研究の動機と目的

• 動画ラベル伝搬から生成された疑似正例（PGT）がセマンティックセグメンテーションの性能を向上させるかどうかを調査すること。
• PGTの品質、GT画像からの多様性、および信頼度重み付けがCNNの学習に与える影響を分析すること。
• 特に動画データを対象としたセマンティックセグメンテーションにおいて、PGTを戦略的に使用するための実用的アドバイスを提供すること。
• 手作業による高コストなピクセル単位のアノテーションの必要性を、自動生成されたPGTを活用することで低減すること。

提案手法

• PGTは、1つのアノテート済みフレームからのラベルを、CRFベースのキュー統合フレームワークを用いて、その後続の動画フレームに伝搬させることで生成される。
• 外観と動きのキューを統合することで、時間的に整合性がありながらもノイズを含むPGTラベルを動画シーケンス全体にわたって生成する。
• 訓練中にPGTの影響を制御可能にするために、損失関数に信頼度要因を導入し、GTとは異なる重み付けを行う。
• 実験では、GTとPGTのバランスの取れた学習と、PGTを数倍多くする学習を比較し、蓄積順序（逐次的 vs. 視覚的評価に基づく）を変えて検証する。
• FCNモデルは、GTとPGTの両方のデータを用いて訓練され、主評価指標としてIoUが用いられる。
• 信頼度要因を体系的に変化させ、モデルの汎化性能と性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 実際の正例のみを用いる場合と比較して、動画ラベル伝搬から得られる疑似正例（PGT）を用いることで、セマンティックセグメンテーションの性能が向上するか？
• RQ2 PGTの品質とGTからの多様性が、セマンティックセグメンテーションにおけるCNNの性能にどのように影響するか？
• RQ3 PGTデータがGTに比べて著しく多くなる場合、最適な信頼度レベルは何か？
• RQ4 PGTデータの蓄積順序（逐次的 vs. 視覚的評価に基づく）がモデルの精度に影響を与えるか？

主な発見

• GT画像とは異なる多様性があり、良好なラベル品質を持つPGTデータを追加することで、CamVidにおけるFCNの性能がIoUスコアで2.7%向上した。
• PGTサンプルがGTよりも数倍多くなる場合、PGTに低信頼度（例：0.5）を割り当てることで、モデルの精度が顕著に向上した。
• 視覚的評価に基づくPGT蓄積（画像類似度を基準）は、逐次的蓄積を上回り、特にPGTが豊富な場合に顕著な性能向上を示した。これは、ラベルの曖昧さが低減されたためである。
• 信頼度を低く設定したPGTの蓄積により、最大51.5%の精度が達成された。これは、適切な順序付けと信頼度重み付けが極めて重要であることを示している。
• PGTデータの蓄積自体は、適切な選択と信頼度重み付けが行われない限り、性能向上をもたらさないが、動画セグメンテーションタスクにおいては実用的である。
• 結果から、戦略的な信頼度と多様性の配慮を組み合わせることで、PGTは手作業によるラベリングの代替手段として有効であることが示唆された。