[論文レビュー] Learning to Measure Change: Fully Convolutional Siamese Metric Networks for Scene Change Detection

Enqiang Guo, Xinsha Fu+5 more|ArXiv.org|Oct 22, 2018

Remote-Sensing Image Classification参考文献 49被引用数 72

ひとこと要約

この論文は CosimNet を紹介する。これはピクセル単位の変化を、照明・視点・ズームの変動下でノイズ変化を区別するためのコントラスト学習と Thresholded Contrastive Loss を用いて直接測定する、完全畳み込みのシアマネットワークである。

ABSTRACT

A critical challenge problem of scene change detection is that noisy changes generated by varying illumination, shadows and camera viewpoint make variances of a scene difficult to define and measure since the noisy changes and semantic ones are entangled. Following the intuitive idea of detecting changes by directly comparing dissimilarities between a pair of features, we propose a novel fully Convolutional siamese metric Network(CosimNet) to measure changes by customizing implicit metrics. To learn more discriminative metrics, we utilize contrastive loss to reduce the distance between the unchanged feature pairs and to enlarge the distance between the changed feature pairs. Specifically, to address the issue of large viewpoint differences, we propose Thresholded Contrastive Loss (TCL) with a more tolerant strategy to punish noisy changes. We demonstrate the effectiveness of the proposed approach with experiments on three challenging datasets: CDnet, PCD2015, and VL-CMU-CD. Our approach is robust to lots of challenging conditions, such as illumination changes, large viewpoint difference caused by camera motion and zooming. In addition, we incorporate the distance metric into the segmentation framework and validate the effectiveness through visualization of change maps and feature distribution. The source code is available at https://github.com/gmayday1997/ChangeDet.

研究の動機と目的

• 変化検出を分類だけのアプローチではなく、非類似度測定の問題として動機づける。
• 変化検出の暗黙的なメトリクスを学習するエンドツーエンドの訓練可能なフレームワークを開発する。
• 照明、影、カメラの視点差によって生じるノイズ変化への感度を低減する。
• FCN ベースの変化検出へ距離メトリクスを組み込み、複数データセットを用いて検証する。

提案手法

• 画像ペアから対になった特徴を抽出する完全畳み込みシアマネットワークを用いる。
• 正規化された特徴に対して事前定義された距離メトリクス（例：L2／コサイン）を適用して変化マップを生成する。
• コントラスト損失で訓練し、変わらないペアを引き寄せ、変化したペアを離す。
• 大きな視点差を許容する Thresholded Contrastive Loss（TCL）を導入する。
• 深層監視と層ごとの損失バランスのために Multi-Layer Side-Output（MLSO）訓練を採用する。
• 学習したメトリクスを FCN ベースのセグメンテーション Framework に統合し、エンドツーエンドの変化検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 意味的変化を強調しつつノイズ変化を抑制する識別的メトリクスをどのように定義・学習するか？
• RQ2 metric 学習を備えたシアマ FCN がシーン変化検出における照明・視点変化耐性を向上させるか？
• RQ3 TCL は大きな視点差の下で実質的な利点を提供するか？
• RQ4 距離メトリクスを FCN ベースの変化検出に組み込むことで、データセット全体でセグメンテーション品質が向上するか？

主な発見

• CosimNet は TCL を用いると VL-CMU-CD および PCD2015 データセットでベースラインを上回り、L2距離の使用とより深く意味的な特徴の活用による顕著な利得を示す。
• 元のコントラスト損失は小さな視点差には十分だが、TCL は大きな視点差（PTZ シナリオ）下で性能を向上させる。
• ユークリッド距離は一般にコサイン類似度より高い RMS コントラストとより良い変化マップを各層で示す。
• MLSO 訓練は中間層の識別性を高め、全体の変化検出性能を改善する。
• CosimNet は CDnet で競合的な結果を達成するが、特に大きな視点差下で有利になる。一方で意味的セグメンテーションのベースラインは一部の指標で依然として強い。