[論文レビュー] Unsupervised Self-training Algorithm Based on Deep Learning for Optical Aerial Images Change Detection

Yuan Zhou, Xiangrui Li|arXiv (Cornell University)|Oct 15, 2020

Remote-Sensing Image Classification参考文献 47被引用数 8

ひとこと要約

本稿では、従来の手法（例：変化ベクトル分析）から得られる疑似ラベルを用いて、教師-生徒CNNフレームワークで訓練される教師付きなし自己訓練アルゴリズム（USTA）を提案する。教師ネットワークと古典的手法からの疑似ラベルを併用し、ノイズの多いラベルを抑制するための画像フィルタを適用することで、手動ラベリングを一切用いずに最先端の性能を達成し、実データセット上での既存の教師付きおよび教師なし手法を上回った。

ABSTRACT

Optical aerial images change detection is an important task in earth observation and has been extensively investigated in the past few decades. Generally, the supervised change detection methods with superior performance require a large amount of labeled training data which is obtained by manual annotation with high cost. In this paper, we present a novel unsupervised self-training algorithm (USTA) for optical aerial images change detection. The traditional method such as change vector analysis is used to generate the pseudo labels. We use these pseudo labels to train a well designed convolutional neural network. The network is used as a teacher to classify the original multitemporal images to generate another set of pseudo labels. Then two set of pseudo labels are used to jointly train a student network with the same structure as the teacher. The final change detection result can be obtained by the trained student network. Besides, we design an image filter to control the usage of change information in the pseudo labels in the training process of the network. The whole process of the algorithm is an unsupervised process without manually marked labels. Experimental results on the real datasets demonstrate competitive performance of our proposed method.

研究の動機と目的

• 高分解能光学空中画像の教師付き変化検出における手動ラベリングの高コストを低減すること。
• ラベルデータに依存しない教師付きなし手法を構築し、高い検出精度を維持すること。
• 古典的手法と訓練済み教師ネットワークからの疑似ラベルを活用することで、変化検出のロバスト性と正確性を向上させること。
• トレーニング中にノイズが多いまたは誤った疑似ラベルの影響を軽減するための新規画像フィルタリング機構を導入すること。
• 生徒-教師CNNアーキテクチャにおける二重ソースの疑似ラベルを用いた自己訓練戦略の有効性を検証すること。

提案手法

• 多期間にわたる空中画像に対して変化ベクトル分析（CVA）を用いて初期の疑似ラベルを生成する。
• これらのCVAによって生成された疑似ラベルを用いて、教師モデルとしての畳み込みニューラルネットワーク（CNN）を訓練する。
• 訓練済みの教師ネットワークが、同じ画像に対してより洗練された疑似ラベルを出力する。
• CVAと教師ネットワークの両方で生成された二つの疑似ラベルセットを併用し、教師と同じアーキテクチャを持つ生徒CNNを訓練する。
• トレーニング中に画像フィルタを適用し、誤りのあるまたはノイズの多い疑似ラベルを抑制することで、ラベル品質とモデルの一般化性能を向上させる。
• 最終的な変化検出結果は、訓練済みの生徒ネットワークの推論から得られ、完全に教師付きなしのパイプラインが完成する。

実験結果

リサーチクエスチョン

• RQ1 二重ソースの疑似ラベルを用いた自己訓練フレームワークは、教師付きなし設定における変化検出の正確性を向上させることができるか？
• RQ2 古典的手法で生成された疑似ラベルとディープラーニングで生成された疑似ラベルを併用することで、検出性能にどのような影響を与えるか？
• RQ3 画像フィルタリング機構は、トレーニングプロセスにおける誤った疑似ラベルの影響をどの程度軽減できるか？
• RQ4 複合特徴抽出を備えた提案された教師-生徒CNNアーキテクチャは、単一ブランチまたは二重ブランチの代替手法を上回るか？
• RQ5 提案された教師付きなし手法は、人為的ラベルが一切不要な状態で、教師付き手法と同等の最先端性能を達成できるか？

主な発見

• SZADA/1データセットでは、画像フィルタを適用した場合のF1スコアは38.06%であったのに対し、フィルタなしでは27.09%にとどまり、フィルタリングが誤検出の低減に有効であることが示された。
• TISZADOB/3データセットでは、フィルタを適用した場合のF1スコアは84.74%に達し、フィルタなしの71.62%を顕著に上回った。
• 共有された低レベル特徴と分離された高レベル特徴ブランチを持つ複合特徴抽出モジュールは、SZADA/1で38.06%、TISZADOB/3で84.74%の最高F1スコアを記録し、単一ブランチ（33.67% F1）および二重ブランチ（33.67% F1）構成を上回った。
• フィルタを適用した生徒ネットワークはTISZADOB/3でF1スコア88.45%を達成し、フィルタなしの87.83%をわずかに上回り、全指標で一貫した改善が確認された。
• 本手法は、実世界の両データセットで最先端の性能を達成し、比較対象の教師付きおよび教師なしベースラインを上回る最高のF1スコアを報告した。
• アブレーションスタディの結果、CVAと教師生成疑似ラベルの両方を併用することで、単独で使用する場合よりも高い性能が得られ、誤りの伝搬を低減し、ラベルの一貫性を向上させた。