[論文レビュー] Deep Self-taught Learning for Remote Sensing Image Classification

Anika Bettge, Ribana Roscher+1 more|arXiv (Cornell University)|Oct 19, 2017

Remote-Sensing Image Classification参考文献 9被引用数 4

ひとこと要約

本稿では、自己教師付き学習（self-taught learning）を用い、ラベルなしのリモートセンシングデータから解釈可能でスパースな特徴表現をアーキタイプ解析と辞書学習を用いて学習する、深層学習フレームワークであるDeep Self-Taught Learning（DSTL）を提案する。複数層のスパース表現を積み重ね、ラベル付きデータでファインチューニングすることで、元の特徴よりも土地被覆分類の精度が向上し、Landsat 5データでは最大95.9%の全体精度を達成し、Zurich Summerデータでは64.7%の精度を示した。

ABSTRACT

This paper addresses the land cover classification task for remote sensing images by deep self-taught learning. Our self-taught learning approach learns suitable feature representations of the input data using sparse representation and undercomplete dictionary learning. We propose a deep learning framework which extracts representations in multiple layers and use the output of the deepest layer as input to a classification algorithm. We evaluate our approach using a multispectral Landsat 5 TM image of a study area in the North of Novo Progresso (South America) and the Zurich Summer Data Set provided by the University of Zurich. Experiments indicate that features learned by a deep self-taught learning framework can be used for classification and improve the results compared to classification results using the original feature representation.

研究の動機と目的

• 豊富なラベルなしデータを活用することで、リモートセンシング画像分類におけるラベル付きデータの不足を解消すること。
• 大規模なラベル付きデータセットを必要とし、解釈性に欠ける標準的な深層学習の限界を克服すること。
• ラベルなしデータから階層的でスパースかつ解釈可能な表現を学習する深層学習フレームワークの開発。
• 最小限のラベル付きデータと非教師付き事前学習を組み合わせることで、土地被覆マッピングタスクの分類性能を向上させること。
• アーキタイプ解析による特徴の解釈性を確保することで、混合分離や分類タスクにおける理解を深めること。

提案手法

• 大規模なラベルなしリモートセンシングデータを用いて自己教師付き学習（STL）により深層表現を事前学習する。
• 非負制約および合計が1になる制約を課したスパース表現（SR）を用い、各データサンプルを辞書アトムのスパース線形結合として表現する。
• データ分布の凸包の極端な点（アーキタイプ）を特定するために、単体体積最大化（SiVM）を用いて辞書を学習する。
• L層の深層ネットワークを構築し、各層が前層の活性化から新しい辞書を用いて表現を学習する。
• 層ごとの事前学習を実施：まずラベルなしデータの表現を学習し、その後、最も深い層の特徴に対してロジスティック回帰を用いてラベル付きデータでファインチューニングする。
• DenseNetにインspiredして、全層からの特徴をスタックすることで分類性能を向上させ、特徴の表現力を強化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、解釈可能な辞書を用いた深層自己教師付き学習は、リモートセンシングにおける土地被覆分類精度を向上させることができるか？
• RQ2 複数層からの深層表現をスタックすることで、単層または浅い表現よりも分類性能が向上するか？
• RQ3 アーキタイプ解析を用いた辞書学習は、リモートセンシングにおける特徴表現の解釈性と性能にどのような影響を与えるか？
• RQ4 異なるシーンや時系列のラベルなしデータで事前学習したDSTLフレームワークは、最小限のラベル付き例を有するターゲットデータの分類を向上させることができるか？
• RQ5 アーキタイプ数とネットワークの深さは、分類精度および収束安定性にどのような影響を与えるか？

主な発見

• DSTLフレームワークは、Landsat 5データセットで元の特徴を使用した94.2%から95.9%まで全体精度を向上させ、平均精度も88.9%から93.3%まで顕著に向上させた。
• Zurich Summerデータセットでは、元の特徴の61.6%からDSTLが64.7%の全体精度を達成し、3.1ポイントの改善を示した。Kappa係数も0.46から0.50に上昇した。
• Landsat 5とZurich Summerの両方で、クラスごとの平均精度がそれぞれ5.3ポイント向上し、土地被覆タイプにわたる一貫した向上が確認された。
• 全体精度の標準偏差は低く（≤0.03%）10回のランダム実験において安定した性能を示しており、データサンプリングに対する頑健性が裏付けられた。
• Landsat 5ではKappa係数が0.86から0.90に、Zurich Summerでは0.46から0.50に上昇し、予測ラベルと真のラベルの一致度が向上したことが確認された。
• 本手法は1回の実行で1,000件のラベル付きトレーニングサンプルのみを用いても、この成果を達成しており、限られた監視情報でも有効であることが示された。