[논문 리뷰] Cooperative Motion Planning for Non-Holonomic Agents with Value Iteration Networks

Eike Rehder, Maximilian Naumann외 2명|arXiv (Cornell University)|2017. 09. 15.

Robotic Path Planning Algorithms참고 문헌 9인용 수 4

한 줄 요약

이 논문은 기울기 하강법을 통해 훈련된 상호 연결된 가치 반복 네트워크(VINs)를 사용하여 비홀로노믹 로봇을 위한 협동 운동 계획 프레임워크를 제안한다. 비홀로노믹 제약 조건은 방향성 상태 격자로 모델링하고, 에이전트 간 상호 비용 페널티를 적용함으로써, 좁은 통로를 통과하거나 만나는 곳에서 양보하는 등의 복잡한 조율 작업을 해결할 수 있는 효율적이고 탈중앙화된 경로 계획을 가능하게 한다. 시뮬레이션 결과, 명시적 조율 신호 없이도 성공적인 협동이 이루어짐을 보여준다.

ABSTRACT

Cooperative motion planning is still a challenging task for robots. Recently, Value Iteration Networks (VINs) were proposed to model motion planning tasks as Neural Networks. In this work, we extend VINs to solve cooperative planning tasks under non-holonomic constraints. For this, we interconnect multiple VINs to pay respect to each other's outputs. Policies for cooperation are generated via iterative gradient descend. Validation in simulation shows that the resulting networks can resolve non-holonomic motion planning problems that require cooperation.

연구 동기 및 목표

• 공간이 제한된 환경에서 다수의 비홀로노믹 로봇이 공유하는 환경에서 협동 운동 계획의 과제를 해결하기 위해.
• 방향성에 따라 달라지는 상태 전이를 통합함으로써 가치 반복 네트워크(VINs)를 비홀로노믹 제약 조건을 모델링할 수 있도록 확장하기 위해.
• 기울기 하강 프레임워크 내에서 상호 비용 페널티를 사용하여 명시적 통신 없이도 탈중앙화된 협동을 가능하게 하기 위해.
• 학습된 정책이 좁은 통로나 만나는 곳에서 양보하는 등의 복잡한 조율 작업을 해결할 수 있음을 보여주기 위해.
• 계획과 부드러운 제약 조건 및 동적 비용 적응을 조합하여 실세계 적용 가능성을 확보하기 위해, 예를 들어 자동차 플라토oning이나 도심 주행에 적용 가능하도록 하기 위해.

제안 방법

• 표준 VINs를 확장하기 위해, 이산적인 방향성(예: 45도 간격의 8방향)을 포함한 3차원 격자 표현 방식을 도입하여 비홀로노믹 운동 제약 조건을 모델링한다.
• 각 에이전트는 별도의 VIN으로 모델링되며, 직진, 대각선 왼쪽, 대각선 오른쪽, 정지 등의 동작을 위한 상태 전이 필터를 갖춘 격자 지도에서 전방 가치 반복을 수행한다.
• 훈련 중에 에이전트 간의 상호 비용 페널티를 적용하며, 각 에이전트의 비용 함수에 다른 에이전트의 경로와의 겹침에 대한 페널티가 포함되어 협동을 장려한다.
• 정책은 동작 가치에 대한 소프트민 소프트미니마이제이션을 통해 생성되며, 최종 동작은 학습된 주의 가중치에 기반하여 선택되어 부드럽고 미분 가능한 정책 출력을 가능하게 한다.
• 정적 점유 격자와 동적 충돌 비용(전이 비용의 100배로 가중)을 사용하여 장애물 회피를 부드러운 제약 조건으로 강제한다.
• 훈련은 공동 비용 함수에 대한 반복적 기울기 하강을 통해 수행되며, 각 VIN은 상대방의 예측 경로에 기반하여 정책을 업데이트함으로써 잠재적 협동이 발생한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 시스템에서 가치 반복 네트워크(VINs)를 비홀로노믹 운동 제약 조건을 모델링할 수 있도록 확장할 수 있는가?
• RQ2 명시적 통신이나 중심 집중식 조율 없이도 다중 에이전트 운동 계획에서 협동 행동이 어떻게 발생할 수 있는가?
• RQ3 미분 가능한 프레임워크 내에서 상호 비용 페널티가 제약 조건이 있는 환경에서 효과적이고 충돌 없는 조율을 이끌 수 있는가?
• RQ4 시간적 조율이 필요한 시나리오, 예를 들어 좁은 통로나 만나는 곳에서의 양보와 같은 상황에서 이 방법은 어떻게 성능을 보이는가?
• RQ5 에이전트가 상호로 접근 가능하지 않거나 제어에 대한 액세스가 비대칭인 경우에도 이 접근법이 일반화 가능한가?

주요 결과

• 비홀로노믹 제약 조건에 부합하는 원형 경로를 생성함으로써, 단일 에이전트의 방향 전환 작업을 성공적으로 해결하였다.
• 이중 에이전트 시나리오에서, 좁은 통로에 더 가까운 로봇이 먼저 통과하도록 네트워크가 정확히 우선순위를 정렬하여 효과적인 협동을 보였다.
• 만남이 가능한 통로가 존재할 경우, 로봇 1이 로봇 2에게 양보하도록 에이전트들이 조율되어 총 비용을 최소화하고 데드락을 피했다.
• 비홀로노믹 제약 조건으로 인해 좁은 통로에 도달할 수 없는 경우, 네트워크는 단일 에이전트 솔루션으로 되돌아가며 제약 위반에 대한 강건성을 보였다.
• 소프트민과 미분 가능한 비용 함수의 사용으로 부드러운 정책 학습과 에이전트 간 효과적인 기울기 기반 최적화가 가능했다.
• 시스템은 명시적 조율 신호나 공유 계획이 없이도 상호 비용 페널티에서 자연스럽게 협동이 발생함을 보여주었다.