[논문 리뷰] Learning to Communicate and Correct Pose Errors

Nicholas Vadivelu, Mengye Ren외 3명|arXiv (Cornell University)|2020. 11. 10.

Advanced Neural Network Applications참고 문헌 43인용 수 9

한 줄 요약

이 논문은 차량 간 통신, 자세 오차 추정, 국소화 노이즈 하에서의 공감대 형성 능력을 학습함으로써 다중 에이전트 자율주행 인식 성능을 향상시키는 엔드 투 엔드 신경 추론 프레임워크를 제안한다. 자세 회귀, 마르코프 무작위장 내 베이지안 재가중, 그리고 주의 기반 이상치 억제를 통합함으로써, 이 방법은 심한 이동 및 헤딩 노이즈 조건에서도 높은 탐지 및 예측 정확도를 유지하며, V2VNet 및 이전의 동기화 방법보다 강건성과 일반화 능력에서 뛰어나다.

ABSTRACT

Learned communication makes multi-agent systems more effective by aggregating distributed information. However, it also exposes individual agents to the threat of erroneous messages they might receive. In this paper, we study the setting proposed in V2VNet, where nearby self-driving vehicles jointly perform object detection and motion forecasting in a cooperative manner. Despite a huge performance boost when the agents solve the task together, the gain is quickly diminished in the presence of pose noise since the communication relies on spatial transformations. Hence, we propose a novel neural reasoning framework that learns to communicate, to estimate potential errors, and finally, to reach a consensus about those errors. Experiments confirm that our proposed framework significantly improves the robustness of multi-agent self-driving perception and motion forecasting systems under realistic and severe localization noise.

연구 동기 및 목표

• 차량 간 통신(V2V)에서 자세 노이즈에 취약한 다중 에이전트 자율주행 인식 시스템의 핵심 취약점을 해결하기 위해.
• 완벽한 국소화에 의존하지 않고도 에이전트들이 공동으로 자세 오차를 추정하고 수정할 수 있는 프레임워크를 개발하기 위해.
• 현실적인 노이즈가 있는 국소화 조건에서 객체 탐지 및 운동 예측의 강건성과 일관성을 향상시키기 위해.
• 근처 차량 수가 증가하거나 훈련 중에 볼 수 없었던 편향된 노이즈가 존재할 경우에도 성능을 유지할 수 있는 시스템을 설계하기 위해.

제안 방법

• 자신의 특징을 학습한 후 차량 쌍 간의 상대 자세 오차를 예측하는 자세 회귀 모듈.
• 베이지안 재가중을 적용한 마르코프 무작위장 기반의 일관성 모듈은 다수의 에이전트 간에 전역적으로 일관된 자세를 강제한다.
• 특징 집합 과정에서 이상치 메시지를 억제하기 위해 강건한 주의 가중치를 활용한다.
• 통신, 오차 추정, 공감대 형성의 세 가지 과업을 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 일관성 모듈에서 t-분포를 가진 노드를 사용함으로써 소규모 다중 에이전트 그래프에서 이상치에 대한 강건성을 향상시킨다.
• 훈련 중 도메인 일반화를 통해 편향된 노이즈나 강한 가우시안 노이즈와 같은 볼 수 없었던 노이즈 유형으로도 잘 일반화된다.

실험 결과

연구 질문

• RQ1 V2V 통신에서 자세 오차가 존재할 경우 다중 에이전트 자율주행 시스템은 어떻게 높은 인식 성능을 유지할 수 있는가?
• RQ2 엔드 투 엔드로 학습된 프레임워크는 소규모이고 노이즈가 많은 다중 에이전트 환경에서 기존의 자세 동기화 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ3 주의 기반 메시지 필터링은 자세 보정 특징 융합에서 이상치 메시지에 대한 강건성을 얼마나 향상시키는가?
• RQ4 훈련 중에 볼 수 없었던 편향되거나 더 강한 노이즈에 대해 시스템은 어떻게 일반화되는가?
• RQ5 일관성 및 주의 모듈의 포함 여부가 협업하는 차량 수가 증가함에 따라 성능 향상에 기여하는가?

주요 결과

• 제안된 프레임워크는 높은 노이즈 조건(0.8m 이동, 8° 회전)에서도 89.931%의 AP@IoU=0.7 성능을 유지하며, V2VNet는 단일 에이전트 성능 이하로 떨어지는 것을 확인했다.
• 제거 실험을 통해 자세 회귀, 일관성 모듈, 주의 모듈의 세 구성 요소 모두 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 기록함을 입증했다.
• 노이즈가 없을 경우에도 주의 모듈은 V2VNet보다 성능을 향상시켜, 신뢰할 수 없는 메시지를 걸러내는 데서 유의미한 이점을 제공함을 시사한다.
• 편향된 노이즈에 대해서도 잘 일반화되어 있으며, 훈련 시 편향되지 않은 가우시안 노이즈만 사용했음에도 불구하고 단일 차량 PnP 성능을 훨씬 초월하는 성능 유지를 보였다.
• 근처의 자율주행 차량(SDV) 수가 증가함에 따라 제안된 방법은 성능 향상을 보였고, V2VNet는 데이터 증강에도 불구하고 누적 자세 오차로 인해 성능이 저하됨을 확인했다.
• 일관성 모듈은 RMSE를 크게 감소시켰지만 MAE에는 거의 영향을 주지 않아, 평균 사례 정확도를 훼손하지 않으면서도 이상치를 효과적으로 처리함을 시사한다.