[논문 리뷰] OffRoadTranSeg: Semi-Supervised Segmentation using Transformers on OffRoad environments

Anukriti Singh, Kartikeya Singh외 1명|arXiv (Cornell University)|2021. 06. 26.

Advanced Neural Network Applications참고 문헌 23인용 수 11

한 줄 요약

OffRoadTranSeg는 시각 트랜스포머와 자동 데이터 선택을 활용하여 비정형 오프로드 환경에서의 준지도 학습 세분화 프레임워크를 제안한다. 자기지도 학습 DINO 백본을 미세조정하고 깊이 기반 능동 학습을 통해 다양하고 정보량이 많은 이미지를 선별함으로써, RELLIS-3D와 RUGD에서 최신 기술 수준의 mIoU를 달성하였으며, 이전에 탐지되지 않은 클래스인 나무토막과 부서진 쌓음과 같은 클래스에 대해 96%의 mIoU를 기록하여 클래스 불균형 문제를 완전히 해결하였다.

ABSTRACT

We present OffRoadTranSeg, the first end-to-end framework for semi-supervised segmentation in unstructured outdoor environment using transformers and automatic data selection for labelling. The offroad segmentation is a scene understanding approach that is widely used in autonomous driving. The popular offroad segmentation method is to use fully connected convolution layers and large labelled data, however, due to class imbalance, there will be several mismatches and also some classes may not be detected. Our approach is to do the task of offroad segmentation in a semi-supervised manner. The aim is to provide a model where self supervised vision transformer is used to fine-tune offroad datasets with self-supervised data collection for labelling using depth estimation. The proposed method is validated on RELLIS-3D and RUGD offroad datasets. The experiments show that OffRoadTranSeg outperformed other state of the art models, and also solves the RELLIS-3D class imbalance problem.

연구 동기 및 목표

• RELLIS-3D와 같이 일부 클래스(예: 나무토막, 물)가 거의 레이블링되지 않은 데이터셋에서 오프로드 세분화의 클래스 불균형 문제를 해결한다.
• 경계가 명확하지 않은 비정형 외부 환경에서 고비용이고 시간이 오래 소요되는 전체 인스턴스 레이블링의 필요성을 줄인다.
• 자기지도 학습 시각 트랜스포머를 활용하여 최소한의 인간 레이블 데이터로도 세분화 성능을 향상시킨다.
• 각 시퀀스에서 가장 정보량이 많은 이미지를 식별하여 최적의 레이블 효율을 달성하기 위해 자동 데이터 선택 전략을 개발한다.
• 트랜스포머 기반 특징 학습과 능동 학습을 조합하여 오프로드 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 인간 레이블이 전혀 필요 없이 오프로드 데이터셋에서 자기지도 학습 DINO를 미세조정하여 강력한 특징 표현을 학습한다.
• 사전 훈련된 DINO 모델에서 추론한 깊이 추정을 활용해 정보량이 많고 다양성이 높은 이미지를 식별하고 레이블링 대상으로 선정한다.
• 특징 다양성과 희귀 클래스 커버리지 최적화를 위해 최대 25개의 이미지까지 선택하는 자동 데이터 선택(ADS) 알고리즘을 적용한다.
• 선택된 이미지 서브셋(시퀀스당 25개 이하)에 대해 준지도 학습 기반으로 세분화 헤드를 훈련한다.
• 시각 트랜스포머의 어텐션 맵을 활용해 복잡하고 혼잡한 오프로드 환경에서도 일반화 능력을 향상시킨다.
• RELLIS-3D와 RUGD에서 종합적으로 평가하여, 이전에 성능이 떨어졌던 클래스를 포함한 모든 클래스의 성능을 비교 분석한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 시각 트랜스포머는 인간 레이블이 전혀 없는 조건에서도 오프로드 환경의 표현을 효과적으로 학습할 수 있는가?
• RQ2 깊이 추정 기반 자동 데이터 선택 전략이 레이블링 수요를 크게 줄이고 세분화 정확도를 향상시키는 데 기여하는가?
• RQ3 제안된 방법은 기존 모델이 거의 탐지하지 못하는 RELLIS-3D와 같은 오프로드 데이터셋에서 클래스 불균형 문제를 해결할 수 있는가? (예: 나무토막, 부서진 쌓음)
• RQ4 트랜스포머 기반 접근 방식은 HRNet와 같은 CNN 기반 최신 기술 수준의 모델과 비교해 준지도 학습 오프로드 세분화에서 어떤 성능을 보이는가?
• RQ5 능동적 데이터 선택 전략이 전체 비디오 시퀀스, 특히 오류 누적이 일반적으로 발생하는 후속 프레임에서 세분화 성능을 얼마나 향상시키는가?

주요 결과

• OffRoadTranSeg는 시퀀스당 25개 이하의 레이블링된 이미지만을 사용하여 RELLIS-3D 데이터셋에서 mIoU 88%를 달성하였으며, 이는 이전 최신 기술 수준의 방법들을 능가하는 성능이다.
• 모델은 RELLIS-3D에서 클래스 불균형 문제를 완전히 해결하였으며, 이전에 탐지되지 않았던 클래스인 '나무토막'에 대해 96%의 mIoU를 기록하였고, 이는 HRNet 기준 0%의 mIoU였던 결과를 초월한 것이다.
• RUGD 데이터셋에서 OffRoadTranSeg는 원본 RUGD 벤치마크에서 보고된 결과보다 여러 클래스에서 더 높은 IoU 값을 기록하였다.
• ViT-small 백본이 다른 아키텍처보다 우수한 성능을 보였으며, mIoU 88%를 기록하였고, 같은 준지도 학습 설정에서 ResNet-50는 단지 36%의 mIoU에 머물렀다.
• 자동 데이터 선택(ADS)의 적용으로 비디오 시퀀스의 후속 프레임에서 성능 향상이 두드러지게 나타났으며, 마지막 배치(bn)에서는 나무토막과 덤불과 같은 복잡한 클래스의 세분화가 뚜렷하게 향상되었다.
• 자기지도 사전 훈련과 능동적 데이터 선택의 조합은 레이블링 비용을 감소시키면서도 비정형 외부 환경에서의 강인성과 일반화 능력을 향상시켰다.