[논문 리뷰] Proactive Anomaly Detection for Robot Navigation with Multi-Sensor Fusion

Tianchen Ji, Arun N. Sivakumar외 2명|arXiv (Cornell University)|2022. 04. 03.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 계획된 운동과 현재 관측값을 사용하여 실시간으로 향후 항법 실패를 예측하는 프로액티브 이상 탐지 네트워크인 PAAD를 제안한다. 카메라와 레이저 라이다(LiDAR)의 다중 센서 데이터를 융합하여, 혼잡하고 불확실한 환경에서 낮은 거짓 경고율을 유지하면서도 뛰어난 실패 탐지 성능을 달성한다. 실제 현장 테스트에서 반응형 및 단일 모odal 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Despite the rapid advancement of navigation algorithms, mobile robots often produce anomalous behaviors that can lead to navigation failures. The ability to detect such anomalous behaviors is a key component in modern robots to achieve high-levels of autonomy. Reactive anomaly detection methods identify anomalous task executions based on the current robot state and thus lack the ability to alert the robot before an actual failure occurs. Such an alert delay is undesirable due to the potential damage to both the robot and the surrounding objects. We propose a proactive anomaly detection network (PAAD) for robot navigation in unstructured and uncertain environments. PAAD predicts the probability of future failure based on the planned motions from the predictive controller and the current observation from the perception module. Multi-sensor signals are fused effectively to provide robust anomaly detection in the presence of sensor occlusion as seen in field environments. Our experiments on field robot data demonstrates superior failure identification performance than previous methods, and that our model can capture anomalous behaviors in real-time while maintaining a low false detection rate in cluttered fields. Code, dataset, and video are available at https://github.com/tianchenji/PAAD

연구 동기 및 목표

• 실패 발생 후에야 이상을 탐지하는 반응형 이상 탐지의 한계를 해결하기 위해, 향후 항법 실패를 조기에 예측할 수 있도록 하는 것.
• 센서 가림과 노이즈가 많은 신호로 인해 성능이 저하되는 비정형적이고 불확실한 현장 환경에서의 내성적 성능을 향상시키기 위한 것.
• 계획된 제어 궤적과 실시간 센서 관측값을 모두 활용하여 조기에 실패를 예측할 수 있는 프로액티브 탐지 시스템을 개발하기 위한 것.
• 카메라와 레이저 라이다 신호의 특징 수준 융합을 통해 단일 센서 장애에 대한 민감도를 낮추고 탐지 신뢰도를 향상시키기 위한 것.
• 높은 환경 불확실성과 센서 노이즈에도 불구하고 실시간 운영에서 낮은 거짓 긍정 비율을 유지하기 위한 것.

제안 방법

• PAAD는 현재 인식 관측값(카메라 및 레이저 라이다 특징)과 예측 제어기로부터 얻은 계획된 운동 궤적을 입력으로 사용하는 딥 네트워크를 사용한다.
• 카메라와 레이저 라이다의 특징는 별도의 컨volutional 인코더를 통해 추출된 후, 두 단계에 걸쳐 특징 수준에서 융합되어 내성적 성능을 향상시킨다.
• 일반화 능력과 노이즈에 대한 저항력을 향상시키기 위해, 실패 확률 예측 손실과 재구성 손실을 조합한 혼합 손실 함수를 사용하여 모델을 훈련시킨다.
• 원시 제어 신호 대신 계획된 경로의 낮은 분산 이미지 표현을 사용함으로써, 노이즈가 많은 제어 동작에서도 안정적인 특징 학습이 가능해진다.
• 실시간 이상 탐지에 대해 할인 누적 이상 점수를 사용한다: $ s_t = \beta \sum_{k=0}^{T-1} \gamma^k y_{t+k} $, 여기서 $ y_{t+k} $ 는 시간 $ t+k $ 에서 예측된 실패 확률이다.
• 임계값 0.5는 연속으로 세 번 이상 초과될 경우에만 적용되어 일시적인 노이즈에 대한 저항력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비정형 현장 환경에서 반응형 방법보다 조기에 향후 항법 실패를 예측할 수 있는 프로액티브 이상 탐지 시스템은 가능한가?
• RQ2 카메라와 레이저 라이다의 다중 센서 융합은 센서 가림과 노이즈가 많은 신호 상황에서 탐지 내성적 성능을 어떻게 향상시키는가?
• RQ3 원시 제어 신호 대신 계획된 경로 표현을 사용할 경우, 탐지 안정성과 성능은 어느 정도 향상되는가?
• RQ4 다양한 현장 조건(밀식된 잡초, 복잡한 지형 포함)에서도 실시간 운영에서 제안된 방법이 낮은 거짓 긍정 비율을 유지할 수 있는가?
• RQ5 오프라인 및 실시간 테스트 환경에서 모델 성능이 단일 모달 및 다중 모달 기준선과 비교해 어떻게 다른가?

주요 결과

• 오프라인 데이터셋에서 PAAD는 최신 기술 대비 가장 높은 F1 점수와 PR-AUC를 기록하여 뛰어난 실패 식별 성능을 입증했다.
• 실시간 테스트에서 PAAD는 공통 현장 환경에서 3개의 이상을 모두 탐지했고, 잡초가 많은 현장에서는 8개 중 7개를 탐지했으며, 공통 현장에서는 오직 1건의 거짓 긍정이 발생했고, 잡초가 많은 현장에서는 8건의 거짓 긍정이 발생했다.
• 레이저 라이다 기준선은 잡초가 많은 현장에서 40건 이상의 거짓 긍정을 유발한 반면, PAAD는 거짓 긍정 비율이 8로 낮게 유지되어 더 뛰어난 내성적 성능을 보였다.
• PAAD는 다른 방법들이 놓친 드문 실패 유형(작물 간격으로 인한 노면 이탈)까지 성공적으로 포착했다.
• 절단 실험을 통해 특징 수준 융합과 혼합 훈련 손실이 모델의 일반화 능력과 노이즈 저항성 향상에 크게 기여하는 것으로 확인되었다.
• PAAD는 기반 제어기의 종류에 관계없이 우수한 성능를 보여, 레이저 라이다 기반 및 비전 기반 항법 시스템 모두에서 유사한 성능를 유지했다.