[논문 리뷰] Gated Path Planning Networks

Lisa Lee, Emilio Parisotto외 3명|arXiv (Cornell University)|2018. 06. 17.

Robotic Path Planning Algorithms참고 문헌 14인용 수 6

한 줄 요약

이 논문은 Gated Path Planning Networks(GPPNs)를 제안한다. GPPNs는 Value Iteration Networks(VINs)의 비표준 순환 업데이트를 표준 LSTM 기반 게이팅 순환 단위로 대체하는 미분 가능한 경로 계획 모듈이다. VIN을 합성곱-순환 네트워크로 재구성함으로써 GPPNs는 더 빠른 학습, 향상된 학습 안정성, 하이퍼파라미터 및 랜덤 시드 민감도 감소, 더 나은 일반화 성능를 달성한다. 이는 오직 RGB 관측만을 사용하는 2D 미로와 3D ViZDoom 환경에서 VIN을 초월하는 성능을 보인다.

ABSTRACT

Value Iteration Networks (VINs) are effective differentiable path planning modules that can be used by agents to perform navigation while still maintaining end-to-end differentiability of the entire architecture. Despite their effectiveness, they suffer from several disadvantages including training instability, random seed sensitivity, and other optimization problems. In this work, we reframe VINs as recurrent-convolutional networks which demonstrates that VINs couple recurrent convolutions with an unconventional max-pooling activation. From this perspective, we argue that standard gated recurrent update equations could potentially alleviate the optimization issues plaguing VIN. The resulting architecture, which we call the Gated Path Planning Network, is shown to empirically outperform VIN on a variety of metrics such as learning speed, hyperparameter sensitivity, iteration count, and even generalization. Furthermore, we show that this performance gap is consistent across different maze transition types, maze sizes and even show success on a challenging 3D environment, where the planner is only provided with first-person RGB images.

연구 동기 및 목표

• Value Iteration Networks(VINs)에서의 학습 불안정성, 랜덤 시드 민감도, 하이퍼파라미터 민감도를 해결하기 위해.
• VINs의 인덕티브 바이어스가 효과적인 미분 가능한 경로 계획에 필수적인지 조사하기 위해.
• 엔드 투 엔드 미분 가능한 탐색 아키텍처에서 최적화 및 일반화 성능 향상을 위해.
• 2D 미로와 RGB 관측만을 사용하는 3D 비디오 게임 환경을 포함한 다양한 환경에서 성능 평가하기 위해.

제안 방법

• VIN을 합성곱-순환 네트워크로 재구성하여 표준 게이팅 순환 단위(LSTM 등)의 사용을 가능하게 한다.
• VIN의 비표준 업데이트(합성곱 + 최대 풀링)를 게이팅 순환 업데이트 메커니즘으로 대체한다.
• LSTM 기반 업데이트를 사용하여 반복 과정 동안 상태 표현을 유지하고 업데이트함으로써 기울기 흐름을 향상시킨다.
• 공유된 가중치를 사용하여 공간 위치 간에 일관되게 작동하도록, 최적 경로의 감독적 암기 방식으로 GPPN을 엔드 투 엔드로 훈련시킨다.
• GPPN을 2D 격자 월드 미로와 1인칭 RGB 입력이 있는 3D ViZDoom 환경에 적용한다.
• 커널 크기와 반복 횟수를 제어 가능한 하이퍼파라미터로 사용하여 확장성과 효율성 평가

실험 결과

연구 질문

• RQ1 VIN의 비표준 순환 업데이트를 표준 게이팅 순환 단위로 대체하면 학습 안정성과 수렴성이 향상되는가?
• RQ2 GPPN은 VIN에 비해 랜덤 시드와 하이퍼파라미터 선택에 더 민감한가?
• RQ3 GPPN은 더 적은 훈련 데이터로도 VIN보다 더 나은 일반화 성능를 보일 수 있는가?
• RQ4 GPPN은 더 큰 커널 크기와 더 적은 반복 횟수에서도 VIN에 비해 성능을 유지하거나 향상시키는가?
• RQ5 GPPN은 오직 RGB 관측만을 사용하여 복잡한 3D 환경에서 성공적으로 경로 계획을 수행할 수 있는가?

주요 결과

• GPPNs는 몇 번의 훈련 에포크 내에 높은 성능에 도달할 정도로 훨씬 더 빠른 학습을 달성한다. 반면 VIN은 더 긴 훈련 기간이 필요하다.
• GPPNs는 에포크 간에 고성능과 저성능을 왔다 갔다 하는 진동이 적어 학습 불안정성이 감소했다.
• GPPNs는 랜덤 시드와 하이퍼파라미터에 더 낮은 민감도를 보이며, 런 간에 더 일관된 성능을 보였다.
• GPPNs는 더 적은 훈련 데이터로도 더 나은 일반화 성능를 보이며, 데이터 크기가 작아질수록 VIN에 비해 성능 격차가 커진다.
• 2D 미로 환경에서 GPPNs는 다양한 미로 크기, 전이 유형, 커널 크기에서 VIN을 초월한다. 특히 VIN이 불안정해지는 더 큰 커널 크기에서도 성능이 뛰어나다.
• 3D ViZDoom 환경에서 GPPNs는 오직 1인칭 RGB 이미지만을 사용하여 성공적으로 경로 계획을 수행했으며, 부분 관측성과 복잡한 시각 입력에 대한 강건성을 입증했다.