[論文レビュー] Interactive Learning for Semantic Segmentation in Earth Observation

Gaston Lenczner, Adrien Chan-Hon-Tong+3 more|arXiv (Cornell University)|Sep 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 5

ひとこと要約

本論文では、スパースなユーザーラベルを教師信号として用いることで、地球観測分野におけるセマンティックセグメンテーションのためのインタラクティブで継続的なニューラルネットワークの適応手法であるDISCAを提案する。最小限のユーザークリックでターゲット画像上でネットワークをファインチューニングすることにより、IoUが最大4.7%向上し、ドメインシフトの状況でも顕著に性能向上を示し、従来手法であるDISIRを上回る性能を発揮する。

ABSTRACT

Dense pixel-wise classification maps output by deep neural networks are of extreme importance for scene understanding. However, these maps are often partially inaccurate due to a variety of possible factors. Therefore, we propose to interactively refine them within a framework named DISCA (Deep Image Segmentation with Continual Adaptation). It consists of continually adapting a neural network to a target image using an interactive learning process with sparse user annotations as ground-truth. We show through experiments on three datasets using synthesized annotations the benefits of the approach, reaching an IoU improvement up to 4.7% for ten sampled clicks. Finally, we exhibit that our approach can be particularly rewarding when it is faced to additional issues such as domain adaptation.

研究の動機と目的

• 地球観測分野におけるセマンティックセグメンテーションの深層ニューラルネットワーク予測の不正確さ、特にドメインシフトや限られた学習データ下での不正確さを是正すること。
• 事前学習済みネットワークを、教師信号としてのスパースなユーザーラベルのみを用いて継続的かつ効果的に適応する手法の開発。
• ローカライズド補正ではなく、画像全体の再トレーニングを通じて、画像レベルのセグメンテーション精度を向上させること。
• 多様なリモートセンシングデータセットおよび挑戦的なドメイン適応設定において、フレームワークの有効性を評価すること。

提案手法

• DISCAは、事前学習済みのLinkNetベースのニューラルネットワークを用い、ターゲット画像上でスパースなユーザーラベルをスパースな教師信号マップとして用いてファインチューニングする。
• ユーザーラベルは入力に追加チャネルとして統合され、ネットワークがターゲット画像固有の補正を学習できるようにする。
• 学習率2e-7で10ステップの確率的勾配降下法を用い、アノテートされた領域における交差エントロピー損失を最小化することで再トレーニングを行う。
• アプローチは画像単位で適用され、モデルが局所的な画像特徴に適応し、画像全体のセグメンテーション精度を向上させることを可能にする。
• 検証のため、合成アノテーションを用いて3つのデータセット（ISPRS Potsdam、INRIA Aerial、AIRS）で評価が行われた。
• ネットワークを再トレーニングしない従来のインタラクティブセグメンテーション手法であるDISIRと比較することで、継続的適応の利点を示している。

実験結果

リサーチクエスチョン

• RQ1 スパースなユーザーラベルによるインタラクティブ学習が、地球観測画像におけるセマンティックセグメンテーション精度を顕著に向上させ得るか？
• RQ2 再トレーニングによる継続的適応は、非適応的で局所的な補正手法に比べて、セグメンテーション品質においてどのように優れているか？
• RQ3 モデルをドメインシフト（例：AIRSからISPRSへの移行）に適用した場合、DISCAはどの程度セグメンテーション性能を向上させ得るか？
• RQ4 初期予測が著しく不正確または不確実な場合でも、フレームワークは頑健性を保ちつつ性能向上を達成できるか？
• RQ5 わずかな数のユーザークリックでのみ、顕著なIoU向上を達成できるか？

主な発見

• DISCAは、3つのデータセットで平均2.5%のIoU向上を達成し、10個のユーザーラベルで最大4.7%の向上を記録した（ISPRSデータセットで）。
• ISPRSデータセットでは、DISCAはIoUを85.4%（前処理前）から86.5%（後処理後）に向上させ、DISIRの86.4%を上回った。
• ドメイン適応シナリオ（AIRSからISPRS）において、DISCAは10個のアノテーションで平均20%のIoU向上を達成したのに対し、DISIRではわずか5%にとどまった。
• 視覚的にも、DISCAはよりグローバルに正確なセグメンテーションマップを生成し、ソースドメインに存在しない特殊な屋根形状やサイズの建物を正しく同定している。
• この手法は、グローバルな予測誤差の是正や、不確実領域の精度向上に効果的に寄与し、特にドメインシフトによって初期予測が誤っている場合に顕著に効果を発揮する。
• DISCAは、再トレーニングによる継続的適応が、複雑な状況やドメイン外のシナリオにおいて、空間的に局所的なガイドに比べてはるかに効果的であることを示している。