[論文レビュー] Hard Pixels Mining: Learning Using Privileged Information for Semantic Segmentation.

Zhangxuan Gu, Li Niu+1 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Neural Network Applications参考文献 58被引用数 3

ひとこと要約

本稿では、訓練中に深度を特権情報として用いるハードピクセルマイニングを提案し、セマンティックセグメンテーションの性能を向上させる。深度予測誤差と深度に依存するセグメンテーション誤差に基づいて損失重みを計算する損失重みモジュール（LWM）を導入し、マルチスケール出力全体にわたりハードピクセルに注目して訓練を最適化することで、推論時に深度を必要としない状態でSOTA性能を達成する。

ABSTRACT

It has been shown that incorporating depth features into RGB features helps improve semantic segmentation. However, depth information is usually unavailable for the test images. In this paper, we leverage only the depth of training images as the privileged information to mine the hard pixels in semantic segmentation. Specifically, we propose a novel Loss Weight Module (LWM), which outputs a loss weight map by employing two depth-related measurements of hard pixels: Depth Prediction Error (DPE) and Depth-aware Segmentation Error (DSE). The loss weight map is then applied to segmentation loss, aimed at learning a more robust model by paying more attention to the hard pixels. Besides, we also explore a curriculum learning strategy based on the loss weight map. Meanwhile, to fully mine the hard pixels on different scales, we apply our loss weight module to multi-scale side outputs. Our hard pixels mining method achieves the state-of-the-art results on two benchmark datasets, and even outperforms the methods which need depth input while testing.

研究の動機と目的

• 訓練画像からの深度情報を特権情報として活用することで、セマンティックセグメンテーションの性能を向上させること。
• 深度関連の誤差測定を用いて、セグメンテーションが難しいピクセルを特定し、それらに集中して訓練すること。
• 推論時に深度を必要としない方法を構築し、モデルのロバスト性を向上させること。
• マルチスケールネットワーク出力全体に損失重み戦略を適用し、特徴レベルでのハードサンプルマイニングを向上させること。

提案手法

• 損失重みモジュール（LWM）は、深度関連の2つの測定値である深度予測誤差（DPE）と深度に依存するセグメンテーション誤差（DSE）を用いて、損失重みマップを計算する。
• DPEは予測深度と真値深度の乖離を定量化し、深度の監視が信頼できないピクセルを特定する。
• DSEは深度の不確実性が高い領域におけるセグメンテーション誤差を測定し、深度が曖昧でかつ予測が難しいピクセルを強調する。
• LWMはDPEとDSEを統合して、空間的に適応的な損失重みマップを生成し、訓練中にハードピクセルに重点を置くようにする。
• この方法は、セグメンテーションネットワークのマルチスケールサブ出力にLWMを統合し、スケールに応じたハードサンプルマイニングを可能にする。
• 損失重みマップに基づいたカリキュラム学習戦略を適用し、徐々に難易度の高いサンプルに段階的に訓練を進める。

実験結果

リサーチクエスチョン

• RQ1 訓練画像からの深度情報は、推論時に深度を必要としない状態で、セマンティックセグメンテーションの性能向上に効果的に利用可能か？
• RQ2 深度関連誤差指標（DPEとDSE）をどのように組み合わせることで、訓練のためのハードピクセルを特定できるか？
• RQ3 損失重みモジュールをマルチスケールに適用することで、より良いセグメンテーション性能が得られるか？
• RQ4 損失重みマップに基づいたカリキュラム学習戦略は、モデルの一般化性能をさらに向上させられるか？
• RQ5 本手法は、推論時に深度を必要とする最先端の手法と比較して、どのように優れているか？

主な発見

• 提案手法は、セマンティックセグメンテーションの2つのベンチマークデータセットでSOTA性能を達成した。
• 推論時に深度入力を必要とする手法よりも優れた性能を示し、訓練時のみに深度を活用する有効性を実証した。
• マルチスケール出力に損失重みモジュールを統合することで、特徴の学習とロバスト性が向上した。
• 損失重みマップに基づいたカリキュラム学習戦略は、より安定的で効果的な訓練に寄与した。
• DPEとDSEをハードサンプルの指標として用いることで、困難なピクセルにおけるモデルの精度が顕著に向上した。