[논문 리뷰] Rock Hunting With Martian Machine Vision

David Noever, Samantha E. Miller Noever|arXiv (Cornell University)|2021. 04. 09.

Planetary Science and Exploration참고 문헌 11인용 수 5

한 줄 요약

이 논문은 페르세베런스 탐사선의 시각 시스템을 사용하여 실시간으로 화성의 암석을 탐지하기 위한 저전력, 엣지 최적화된 딥러닝 시스템을 제시한다. 마이크로컨트롤러에 배포하기 위해 신경망을 피지터링하고 양자화함으로써, 이 방법은 암석 대 로버 분류에서 97%의 정확도를 달성하고 실시간 바운딩 박스 로컬라이제이션을 가능하게 하여 제한된 계산 자원을 가진 화성 탐사의 자율성에 대한 실현 가능성을 입증한다.

ABSTRACT

The Mars Perseverance rover applies computer vision for navigation and hazard avoidance. The challenge to do onboard object recognition highlights the need for low-power, customized training, often including low-contrast backgrounds. We investigate deep learning methods for the classification and detection of Martian rocks. We report greater than 97% accuracy for binary classifications (rock vs. rover). We fine-tune a detector to render geo-located bounding boxes while counting rocks. For these models to run on microcontrollers, we shrink and quantize the neural networks' weights and demonstrate a low-power rock hunter with faster frame rates (1 frame per second) but lower accuracy (37%).

연구 동기 및 목표

• 최소한의 전력과 계산 비용으로 화성에서 자율적인 암석 탐지를 가능하게 하기 위해 차량 내 컴퓨터 비전을 활용한다.
• 우주 탐사선에서 일반적인 자원 제약이 있는 마이크로컨트롤러에 적합한 딥러닝 모델을 구현한다.
• 저대비, 복잡한 화성 지형 조건에서도 높은 정확도의 암석 분류 및 로컬라이제이션을 유지한다.
• 엣지 배포를 위한 모델 압축 기법, 예를 들어 지식 증류와 양자화를 탐색한다.
• 페르세베런스 탐사선에서 실시간 운영을 위해 추론 속도, 모델 크기, 정확도 간의 균형을 확보한다.

제안 방법

• 화성 지형 이미지에서 지리적 위치가 기입된 바운딩 박스로 암석을 국소화하기 위해 사전 훈련된 객체 탐지 모델을 피지터링했다.
• 마이크로컨트롤러에 배포하기 위해 지식 증류와 가중치 양자화를 적용했다.
• 네트워크 가중치를 8비트 정수로 압축하고, 모델 크기와 추론 시간을 줄였다.
• 저대비, 자연적인 화성 배경 이미지를 사용하여 암석 대 로버 분류를 위한 이진 분류기를 훈련시켰다.
• 통합 추론 파이프라인을 최적화하여, 정확도를 약간 낮추고도 임베디드 하드웨어에서 1 프레임/초의 속도를 달성했다.
• 제한된 레이블이 있는 데이터로 화성 암석 인식에 적합하도록 ImageNet 사전 훈련 모델에서 전이 학습을 수행했다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 마이크로컨트롤러에 효과적으로 압축되고 배포되어 화성에서 실시간 암석 탐지에 활용될 수 있는가?
• RQ2 우주 임무의 엣지 배포를 위해 딥 네트워크를 양자화하고 축소할 경우, 유지할 수 있는 정확도 수준은 무엇인가?
• RQ3 모델 압축은 화성 운영 조건 하에서 임베디드 시스템의 추론 속도와 프레임 레이트에 어떤 영향을 미치는가?
• RQ4 피지터링된 객체 탐지기는 화성에서 과학적 샘플링을 위해 충분한 정밀도로 암석을 국소화할 수 있는가?
• RQ5 저전력 우주 하드웨어에 비전 모델을 배포할 경우, 정확도, 크기, 추론 속도 간의 상호 상충 관계는 무엇인가?

주요 결과

• 이진 암석 대 로버 분류기는 테스트 데이터에서 97% 이상의 정확도를 달성하여 암석과 로버를 높은 신뢰도로 구분함을 입증했다.
• 전체 객체 탐지 모델은 고정밀도로 암석 주변에 지리적 위치 기반 바운딩 박스를 성공적으로 생성했다.
• 양자화 및 압축 후, 마이크로컨트롤러에서 1 프레임/초의 추론 속도를 확보하여 실시간 운영에 적합함을 입증했다.
• 압축된 모델는 37%의 정확도를 유지하며 기능적인 성능을 확보하여 저전력 환경에서의 실현 가능성을 입증했다.
• 지식 증류와 가중치 양자화가 정확도 손실 없이 모델 크기와 에너지 소비를 크게 감소시켰다.
• 이 접근법은 최소한의 차량 내 계산 자원으로도 자율적인 행 星 탐사에 적합한 엣지 최적화된 딥러닝이 실현 가능함을 입증한다.