[論文レビュー] Semi-Supervised Learning for Mars Imagery Classification and Segmentation

Wenjing Wang, Lilang Lin+2 more|arXiv (Cornell University)|Jun 5, 2022

Planetary Science and Exploration被引用数 4

ひとこと要約

本稿では、AI4Marsデータセット上で最先端の性能を達成し、mIoUをベースラインから4.11%向上させる、火星画像分類およびセグメンテーションのための半教師付き対照学習フレームワークを提案する。この手法は、ラベル付きデータを用いた教師ありクラス間対照学習と、オンラインの仮ラベル付けおよび類似度学習を用いたラベルなしデータの活用により、深刻なトレイン・テスト分布ギャップとデータ品質の問題に対処する。

ABSTRACT

With the progress of Mars exploration, numerous Mars image data are collected and need to be analyzed. However, due to the imbalance and distortion of Martian data, the performance of existing computer vision models is unsatisfactory. In this paper, we introduce a semi-supervised framework for machine vision on Mars and try to resolve two specific tasks: classification and segmentation. Contrastive learning is a powerful representation learning technique. However, there is too much information overlap between Martian data samples, leading to a contradiction between contrastive learning and Martian data. Our key idea is to reconcile this contradiction with the help of annotations and further take advantage of unlabeled data to improve performance. For classification, we propose to ignore inner-class pairs on labeled data as well as neglect negative pairs on unlabeled data, forming supervised inter-class contrastive learning and unsupervised similarity learning. For segmentation, we extend supervised inter-class contrastive learning into an element-wise mode and use online pseudo labels for supervision on unlabeled areas. Experimental results show that our learning strategies can improve the classification and segmentation models by a large margin and outperform state-of-the-art approaches.

研究の動機と目的

• 火星探査車画像における深刻なトレイン・テスト分布ギャップと低品質なデータが、従来のコンピュータビジョンモデルの性能を妨える問題に対処する。
• 限られたノイズの多いアノテーションに特化した、宇宙惑星データ向けの強力な表現学習フレームワークを開発する。
• 半教師付き学習を活用して、火星固有の視覚タスク（画像分類およびセマンティックセグメンテーション）の性能を向上させる。
• 火星データにおける高いサンプル間類似度と対照学習の矛盾を、ラベル付きデータとラベルなしデータの統合により解消する。
• 向上した特徴表現を通じて、オブジェクト検出やトラッキングなどの下流視覚タスクへの一般化を実証する。

提案手法

• ラベル付きデータにおいてクラス内ペアを除外することで、教師ありクラス間対照学習を提案し、冗長性を回避する。
• ラベルなしデータに対して負例ペアを無視し、特徴の凝縮性に注目することで、非教師付き類似度学習を実施する。
• セマンティックセグメンテーションに適した、要素ごとでピクセル単位の対照学習への拡張を実施する。
• 高信頼度の予測を用いて動的監督を提供するため、ラベルなし領域に対してオンライン仮ラベル付けを導入する。
• セグメンテーションと対照学習をバランスの取れた損失関数で同時に最適化し、セグメンテーション損失と対照学習損失の重み付き組み合わせを用いる。
• 信頼度が低い仮ラベルをフィルタリングするため、閾値（0.9に設定）を用いることで、学習信号のノイズを低減する。

Figure 1. The proposed semi-supervised learning paradigm for Martian machine vision tasks . Left: the framework of conventional contrastive learning. Due to the redundancy in Mars data, naive pairs can be inappropriate. Right: our semi-supervised framework. On labeled data, we generate inner-class p

実験結果

リサーチクエスチョン

• RQ1 高いサンプル間類似度とデータ歪みがある火星画像に対しても、対照学習を効果的に適用できるか？
• RQ2 半教師付き学習戦略は、火星探査車データセットにおける深刻なトレイン・テスト分布ギャップをどのように緩和できるか？
• RQ3 火星データ上で共同学習する際の、対照学習とセグメンテーション損失の最適なバランスは何か？
• RQ4 信頼度閾値を用いたオンライン仮ラベル付けは、セグメンテーション性能と頑健性にどのように影響を与えるか？
• RQ5 提案手法は、火星固有の視覚表現において、特徴の凝縮性と分離性をどの程度向上させるか？

主な発見

• 提案手法は、AI4MarsセグメンテーションベンチマークでmIoU 70.34%を達成し、ベースラインから4.11%向上した。
• アブレーションスタディにより、事前学習とオンライン仮ラベル付けを組み合わせた共同半教師付き学習が最良の性能を示し、mIoUが66.23%から70.34%に上昇した。
• 仮ラベルの閾値を0.9に設定すると最適な性能が得られ、それ以下の閾値はノイズを増加させ、それ以上の閾値は監督信号を減少させる。
• 対照学習の最適な損失重み（$\lambda^{s}_{seg} = 0.001$）は、特徴学習とセグメンテーション精度のバランスを最適化し、mIoUを70.34%で最大化した。
• 特徴可視化により、特に土壌や砂といった明確に分離可能なクラスにおいて、より凝縮され、分離性の高い表現が得られることを確認した。
• 主観的なセグメンテーション結果では、境界がより明確で、誤分類（例：土壌 vs. 砂）がベースラインより少ないことが観察された。

Figure 2. The uneven category distribution of train/validation and test sets in Mars rover data. (a) MSL surface dataset (Wagstaff et al . , 2018 ) . (b) AI4Mars dataset (Swan et al . , 2021 ) .