[논문 리뷰] Coordinated Heterogeneous Distributed Perception based on Latent Space Representation

Timo Korthals, Jürgen Leitner외 1명|arXiv (Cornell University)|2018. 09. 12.

Reinforcement Learning in Robotics참고 문헌 6인용 수 3

한 줄 요약

이 논문은 카메라와 라이다 데이터를 융합하기 위해 공동 다중모달 변동형 자동에코더(JMVAE)를 사용하여 공유 잠재 공간을 생성하는 협동적 이종 다중로봇 시스템을 제안한다. 이로써 양방향 센서 정보 교환을 가능하게 하며, 이 잠재 공간 내에서 딥 Q-네트워크(DQN)를 학습시켜 불확실성을 최소화하고 최적의 관심지점(PoI)으로 로봇을 유도함으로써, 단순 탐색 전략에 비해 검출 정확도를 향상시킨다.

ABSTRACT

We investigate a reinforcement approach for distributed sensing based on the latent space derived from multi-modal deep generative models. Our contribution provides insights to the following benefits: Detections can be exchanged effectively between robots equipped with uni-modal sensors due to a shared latent representation of information that is trained by a Variational Auto Encoder (VAE). Sensor-fusion can be applied asynchronously due to the generative feature of the VAE. Deep Q-Networks (DQNs) are trained to minimize uncertainty in latent space by coordinating robots to a Point-of-Interest (PoI) where their sensor modality can provide beneficial information about the PoI. Additionally, we show that the decrease in uncertainty can be defined as the direct reward signal for training the DQN.

연구 동기 및 목표

• 다른 센서 모odal리티(예: 카메라와 라이다)를 가진 로봇 간의 효과적인 정보 교환을 공유 잠재 공간 표현을 통해 가능하게 하기 위해.
• 다중모달 데이터로 훈련된 변동형 자동에코더(VAE)의 생성 능력을 활용하여 분산 로봇 시스템에서 이종 센서 융합을 비동기적으로 지원하기 위해.
• 잠재 공간 내에서 불확실성 감소 기반으로 최적의 관심지점(PoI)을 선택하는 DQN을 훈련시켜 이종 로봇을 탈중앙화된 방식으로 조율하기 위해.
• 잠재 공간 내 불확실성 감소를 직접적인 형태의 보상 신호로 정의하여 DQN 훈련에 활용함으로써 효율적인 탐색과 능동적 센싱을 가능하게 하기 위해.
• 공동 다중모달 VAE에서 유도된 잠재 공간 표현이 다중로봇 인식 작업에서 분류 성능 향상과 협업을 어떻게 향상시키는지 입증하기 위해.

제안 방법

• 공동 다중모달 변동형 자동에코더(JMVAE)는 카메라 및 라이다 데이터를 공유된 분리된 잠재 공간으로 인코딩하며, 이 공간은 $ D_z = 2 $ 차원을 가지며, 가우시안 사전분포와 변동형 추론을 사용한다.
• JMVAE는 개별 모달리티 인코더 $ q_{ heta_x}(z|x) $ 및 $ q_{ heta_w}(z|w) $ 와 이중 모달 디코더 $ p_{ heta}(x,w|z) $ 를 사용하며, 잠재 공간 내에서 모달리티를 정렬하기 위해 변동 정보(VI) 손실을 최소화한다.
• 특징 추출기 $ f_x $ 와 $ f_w $ 는 원시 센서 데이터를 고정된 차원의 벡터 $ D_x = D_w $ 로 전처리하여 차원 감소를 도모하고 VAE 훈련의 안정성을 향상시킨다.
• 딥 Q-네트워크(DQN)는 잠재 상태 $ z_n = (\mu_{1,n}, \sigma_{1,n}, \dots, \mu_{D_z,n}, \sigma_{D_z,n}) $ 에서 훈련되며, 잠재 분산의 L2 노름의 역수 $ I_n = 1 / \|\sigma_n\|_2 $ 가 불확실성의 대체 측정치로 사용된다.
• DQN은 형태 보상 신호를 수신한다: 정보가 증가하면 $ r = \Delta I_n $, 향상이 없으면 $ r = -1 $, 무작위 동작이면 $ r = 0 $ 으로, 직접적으로 불확실성 감소를 최적화한다.
• DQN 정책은 $ \gamma = 0.95 $, $ \epsilon $-그리디 탐색($ \epsilon_{\text{start}} = 1.0 $, $ \epsilon_{\text{min}} = 0.01 $, 감쇠 = 0.99), Adam 최적화($ \alpha = 0.001 $) 를 사용한 DQN 알고리즘을 통해 훈련된다.

실험 결과

연구 질문

• RQ1 공유된 잠재 공간 표현이 이종 센서를 가진 로봇 간의 효과적인 다중모달 인식과 정보 교환을 가능하게 할 수 있는가?
• RQ2 다중모달 VAE의 생성 능력이 분산 로봇 시스템에서 이종 센서 융합을 비동기적으로 지원할 수 있는가?
• RQ3 잠재 공간 내 불확실성이 DQN 훈련을 위한 보상 신호로 효과적으로 사용될 수 있는가?
• RQ4 잠재 공간 내에서 DQN을 훈련시키는 것이 단순 탐색 전략에 비해 더 나은 검출 성능과 탐색 시간 단축을 이끌 수 있는가?
• RQ5 개별 모달리티가 객체 클래스를 구분하지 못할 경우, 공동 다중모달 VAE는 어떻게 모호한 분류를 처리하는가?

주요 결과

• JMVAE는 양방향으로 누락된 모달리티를 재구성할 수 있는 공동 잠재 표현을 성공적으로 학습하였으며, 예를 들어 라이다 입력에서 이미지 특징을 재구성하거나 그 반대로도 가능하다.
• 단일 모달리티의 경우, 모호한 클래스는 잠재 공간에서 평균으로 수렴하지만, 다중모달 입력에서는 클래스 간 분리가 유지되며, 별개의 분산이 불확실성을 나타낸다.
• 잠재 공간에서 훈련된 DQN은 안정적인 학습 곡선을 보이며, 2000 에포크 동안 평균 총 보상이 증가함으로써 효과적인 정책 학습이 이루어졌음을 시사한다.
• 불확실성 감소($ \Delta I_n $) 기반의 형태 보상은 DQN이 정보가 풍부한 PoI를 효과적으로 선택하도록 이끌며, 무작위 또는 비적응형 탐색 전략을 능가한다.
• 이 시스템은 다중모달 VAE에서 유도된 잠재 공간 표현이 이종 로봇 팀에서 객체 분류 정확도를 크게 향상시킬 수 있음을 입증한다.
• VAE 입력 이전에 특징 추출기 $ f_x $ 와 $ f_w $ 를 사용함으로써 훈련 안정성이 향상되고, 특히 모달리티 차원이 비균형한 경우 깊은 구조에서의 가중치 붕괴를 방지한다.