[논문 리뷰] Semi-Supervised Learning for Mars Imagery Classification and Segmentation

Wenjing Wang, Lilang Lin외 2명|arXiv (Cornell University)|2022. 06. 05.

Planetary Science and Exploration인용 수 4

한 줄 요약

이 논문은 AI4Mars 데이터셋에서 상태의 기준을 초월하는 성능을 달성하기 위해, 라벨이 부여된 데이터를 활용한 감독형 상반 학습과 온라인 가짜 라벨링 및 유사도 학습을 통한 비라벨 데이터 활용을 통해 심각한 훈련-테스트 분포 이격과 데이터 품질 문제를 해결하는 준감독형 대비 학습 프레임워크를 제안한다. Mars 영상 분류 및 분할에 대해 최고의 성능을 기록하며, 기준 모델 대비 mIoU를 4.11% 향상시켰다.

ABSTRACT

With the progress of Mars exploration, numerous Mars image data are collected and need to be analyzed. However, due to the imbalance and distortion of Martian data, the performance of existing computer vision models is unsatisfactory. In this paper, we introduce a semi-supervised framework for machine vision on Mars and try to resolve two specific tasks: classification and segmentation. Contrastive learning is a powerful representation learning technique. However, there is too much information overlap between Martian data samples, leading to a contradiction between contrastive learning and Martian data. Our key idea is to reconcile this contradiction with the help of annotations and further take advantage of unlabeled data to improve performance. For classification, we propose to ignore inner-class pairs on labeled data as well as neglect negative pairs on unlabeled data, forming supervised inter-class contrastive learning and unsupervised similarity learning. For segmentation, we extend supervised inter-class contrastive learning into an element-wise mode and use online pseudo labels for supervision on unlabeled areas. Experimental results show that our learning strategies can improve the classification and segmentation models by a large margin and outperform state-of-the-art approaches.

연구 동기 및 목표

• 기존 컴퓨터 비전 모델의 성능을 저해하는 Mars 탐사차 영상에서의 심각한 훈련-테스트 분포 격리와 낮은 데이터 품질 문제를 해결하기 위해.
• 제한적이고 노이즈가 많은 레이블이 부착된 외계 천체 행성 데이터에 특화된 강건한 표현 학습 프레임워크를 개발하기 위해.
• 준감독 학습을 활용하여 Mars 전용 비전 작업—이미지 분류 및 세그멘테이션—의 성능을 향상시키기 위해.
• Mars 데이터에서 높은 샘플 간 유사도가 존재하는 상황에서도 대비 학습과 감독 정보를 융합하여 대비 학습과의 모순을 해소하기 위해.
• 개선된 특징 표현을 통해 객체 탐지 및 추적과 같은 후속 비전 작업으로의 일반화 능력을 입증하기 위해.

제안 방법

• 라벨이 부여된 데이터에서 내부 클래스 쌍을 제외함으로써 라벨이 있는 데이터에 대한 감독형 상반 학습을 제안하여 부작용을 방지한다.
• 비라벨 데이터에 대해 음성 쌍을 무시하고 특징의 밀도를 중시함으로써 비감독 유사도 학습을 적용한다.
• 세그멘테이션에 적합한 원소 수준, 픽셀 수준의 대비 학습으로 확장한다.
• 고신뢰도 예측을 활용해 동적 감독을 제공하기 위해 비라벨 영역에 대해 온라인 가짜 라벨링을 도입한다.
• 세그멘테이션과 대비 학습을 동시에 최적화하기 위해 가중치 조합을 사용하는 균형 잡힌 손실 함수를 사용한다.
• 낮은 신뢰도의 가짜 라벨을 제거하기 위해 임계값(0.9로 설정)을 사용한다.

Figure 1. The proposed semi-supervised learning paradigm for Martian machine vision tasks . Left: the framework of conventional contrastive learning. Due to the redundancy in Mars data, naive pairs can be inappropriate. Right: our semi-supervised framework. On labeled data, we generate inner-class p

실험 결과

연구 질문

• RQ1 높은 샘플 간 유사도와 데이터 왜곡이 존재하는 Mars 영상에 대해 대비 학습을 효과적으로 적용할 수 있는가?
• RQ2 준감독 학습 전략은 Mars 탐사차 데이터셋에서 심각한 훈련-테스트 분포 격리 문제를 어떻게 완화할 수 있는가?
• RQ3 Mars 데이터에서의 공동 훈련 시 대비 학습과 세그멘테이션 손실 간 최적의 균형은 무엇인가?
• RQ4 신뢰도 임계값을 사용한 온라인 가짜 라벨링은 세그멘테이션 성능과 내구성에 어떤 영향을 미치는가?
• RQ5 제안된 설계는 Mars 전용 시각 표현에서 특징의 밀도와 분리 가능성에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 AI4Mars 세그멘테이션 벤치마크에서 mIoU 70.34%를 달성하여 기준 모델 대비 4.11% 향상시켰다.
• 절단 실험을 통해 사전 훈련과 온라인 가짜 라벨링를 통한 공동 준감독 학습이 최고의 성능을 내며, mIoU가 66.23%에서 70.34%로 증가함을 확인하였다.
• 가짜 라벨 임계값을 0.9로 설정할 경우 최적의 성능을 달성하였으며, 이하의 임계값은 노이즈를 유발하고, 이하의 임계값은 감독 신호를 감소시킨다.
• 대비 학습의 최적 손실 가중치($\lambda^{s}_{seg} = 0.001$)는 특징 학습과 세그멘테이션 정확도 사이의 균형을 맞추며, mIoU를 70.34%로 최대화한다.
• 특징 시각화 결과, 제안된 방법은 특히 토양과 모래와 같은 구분 가능한 클래스에서 더 밀도 있고 분리 가능한 표현을 생성함을 확인하였다.
• 주관적 세그멘테이션 결과는 기준 모델 대비 더 뚜렷한 경계와 더 적은 오분류(예: 토양 대비 모래)를 보였다.

Figure 2. The uneven category distribution of train/validation and test sets in Mars rover data. (a) MSL surface dataset (Wagstaff et al . , 2018 ) . (b) AI4Mars dataset (Swan et al . , 2021 ) .