[논문 리뷰] Research on reinforcement learning based warehouse robot navigation algorithm in complex warehouse layout

Keqin Li, Lipeng Liu외 6명|arXiv (Cornell University)|2024. 11. 09.

Advanced Manufacturing and Logistics Optimization인용 수 6

한 줄 요약

본 논문은 Proximal Policy Optimization–Dijkstra (PP-D) 프레임워크를 제안하며, PPO 기반 로컬 정책 학습과 Dijkstra의 전역 경로 계획을 결합하여 복잡한 레이아웃에서 물류창고 로봇 내비게이션을 향상시킨다.

ABSTRACT

In this paper, how to efficiently find the optimal path in complex warehouse layout and make real-time decision is a key problem. This paper proposes a new method of Proximal Policy Optimization (PPO) and Dijkstra's algorithm, Proximal policy-Dijkstra (PP-D). PP-D method realizes efficient strategy learning and real-time decision making through PPO, and uses Dijkstra algorithm to plan the global optimal path, thus ensuring high navigation accuracy and significantly improving the efficiency of path planning. Specifically, PPO enables robots to quickly adapt and optimize action strategies in dynamic environments through its stable policy updating mechanism. Dijkstra's algorithm ensures global optimal path planning in static environment. Finally, through the comparison experiment and analysis of the proposed framework with the traditional algorithm, the results show that the PP-D method has significant advantages in improving the accuracy of navigation prediction and enhancing the robustness of the system. Especially in complex warehouse layout, PP-D method can find the optimal path more accurately and reduce collision and stagnation. This proves the reliability and effectiveness of the robot in the study of complex warehouse layout navigation algorithm.

연구 동기 및 목표

• 복잡한 창고 레이아웃에서 효율적이고 정확한 경로 탐색을 달성한다.
• 동적인 환경에서 실시간 의사결정을 가능하게 한다.
• 내비게이션 견고성을 개선하고 충돌과 정체를 줄인다.

제안 방법

• 안정적이고 빠른 정책 업데이트 및 동적 환경에 대한 적응을 위해 Proximal Policy Optimization (PPO)을 적용한다.
• 정적 환경에서 전역 최적 경로 계획을 위해 Dijkstra 알고리즘을 사용한다.
• 로컬 학습과 전역 계획의 균형을 맞추기 위해 PPO와 Dijkstra를 Proximal policy-Dijkstra (PP-D) 프레임워크로 통합한다.
• 네비게이션 정확도와 견고성의 향상을 평가하기 위해 PP-D를 전통 알고리즘과 비교 평가한다.

실험 결과

연구 질문

• RQ1 복잡한 창고 레이아웃에서 네비게이션 정확도 측면에서 PP-D의 성능은 어떠한가?
• RQ2 전통적인 방법에 비해 PP-D가 견고성을 높이고 충돌과 정체를 줄이는가?
• RQ3 이 설정에서 실시간 의사결정(PPO)과 전역 최적성(Dijkstra) 간의 트레이드오프는 무엇인가?

주요 결과

• PP-D는 전통 알고리즘에 비해 내비게이션 정확도와 견고성을 향상시킨다.
• 복잡한 레이아웃에서 PP-D는 보다 정확하게 최적 경로를 찾는다.
• PP-D는 충돌 및 정체 발생을 줄여 신뢰성을 높인다.
• PPO는 실시간 의사결정에 빠른 적응을 가능하게 하고, Dijkstra는 경로 계획의 전역 최적성을 제공한다.