[논문 리뷰] Design Space of Behaviour Planning for Autonomous Driving

Marko Ilievski, Sean Sedwards외 7명|arXiv (Cornell University)|2019. 08. 21.

Reinforcement Learning in Robotics참고 문헌 65인용 수 8

한 줄 요약

이 논문은 환경 표현, 운동 계획 아키텍처, 결정 논리 구현이라는 세 가지 핵심 축을 식별하여 자율주행의 행동 계획 설계 공간을 체계적으로 맵핑한다. 이는 이산/연속 추상화, 행동 계획기와 국부적 계획기 간 통합 수준, 전통적 논리 대 대체로 학습된 논리 간의 상충 관계를 분석하며, 향후 안전하고 고성능의 동적 환경에서의 의사결정을 위한 하이브리드, 학습 기반 시스템이 프로그래밍된 논리에 의해 감시되는 것이 유망한 방향으로 제안된다.

ABSTRACT

We explore the complex design space of behaviour planning for autonomous driving. Design choices that successfully address one aspect of behaviour planning can critically constrain others. To aid the design process, in this work we decompose the design space with respect to important choices arising from the current state of the art approaches, and describe the resulting trade-offs. In doing this, we also identify interesting directions of future work.

연구 동기 및 목표

• 자율주행의 행동 계획 설계 공간을 체계화하여 실용적 개발과 연구를 안내하기 위해.
• 환경 표현의 이산적/연속적 추상화, 계획기 통합, 결정 논리 간의 핵심 상충 관계를 식별하고 분석하기 위해.
• 행동 계획에서 학습된 논리(예: 딥 강화학습)와 전통적 프로그래밍의 타당성을 평가하기 위해.
• 현재 접근 방식의 한계를 부각하고 안전성과 성능 향상을 위해 학습된 논리와 프로그래밍된 논리를 조합한 하이브리드 시스템을 제안하기 위해.
• 모델 기반 강화학습, 계층적 강화학습, 예제와 상호작용으로부터의 하이브리드 학습과 같은 아직 탐색되지 않은 연구 방향을 식별하기 위해.

제안 방법

• 환경 표현(예: 원시 센서 데이터, 지도, 격자, 잠재 표현), 운동 계획 아키텍처(예: 모듈러 대 통합 BP-LP, 예측 통합), 결정 논리(예: 절차적, 전문가 시스템, 학습된 논리)를 중심으로 행동 계획 설계 공간을 세 가지 주요 축으로 분해한다.
• 설계 선택 사항과 그 상호의존성을 시각적으로 표현하기 위해 기능 다이어그램을 사용하여 설계 공간의 체계적 탐색을 가능하게 한다.
• 딥 강화학습, 이mitation 학습, 몬테카를로 트리 검색, 모델 기반 강화학습 등을 포함한 각 축에 대한 최신 기술을 검토한다.
• 다양한 설계 구성에서 계산 복잡도, 강건성, 안전성, 적응 가능성 간의 상충 관계를 분석한다.
• 향후 고성능 시스템은 안전성과 신뢰성을 확보하기 위해 학습 모델과 수동으로 검증된 논리를 조합한 하이브리드 시스템이 될 것이라고 제안한다.
• 지속적 학습에서의 치명적 기억 상실 및 다목적 환경에서의 보상 함수 설계의 어려움과 같은 과제를 논의한다.

실험 결과

연구 질문

• RQ1 예를 들어 포인트 클라우드, 점유 격자, 잠재 특징 등 다양한 환경 표현 방식은 행동 계획의 복잡도와 성능에 어떻게 영향을 미치는가?
• RQ2 다이나믹한 주행 환경에서 행동 계획기와 국부적 계획기의 모듈러 아키텍처와 통합 아키텍처 간의 상충 관계는 무엇인가?
• RQ3 기존 프로그래밍, 전문가 시스템, 학습된 모델 등 다양한 결정 논리 구현 방식은 안전성, 적응 가능성, 확장성 측면에서 어떻게 비교되는가?
• RQ4 강화학습을 행동 계획에 적용할 때 주로 발생하는 보상 함수 설계 및 일반화 문제와 같은 핵심 과제는 무엇인가?
• RQ5 학습된 논리와 프로그래밍된 논리를 조합한 하이브리드 시스템은 순수하게 학습된 또는 순수하게 기호 기반 접근 방식보다 더 뛰어난 안전성과 성능을 달성할 수 있는가?

주요 결과

• 환경의 추상화 수준과 계산 복잡도 사이에 근본적인 상충 관계가 존재하며, 더 추상화된 표현 방식은 복잡도를 감소시키지만 세부 정보를 손실할 수 있다.
• 행동 계획기와 국부적 계획기 간의 통합 아키텍처는 예측이 의사결정과 밀접하게 연결되어 있을 경우 성능과 반응성 향상에 기여한다.
• 학습된 논리, 특히 딥 강화학습은 복잡한 환경에서 강력한 의사결정을 가능하게 하지만, 안전성 검증과 보상 함수 설계의 과제에 직면해 있다.
• 계층적 및 모델 기반 강화학습은 샘플 효율성을 향상시키고 분산을 줄여, 확장 가능한 행동 계획에 있어 유망한 방향으로 평가된다.
• 예제로부터의 학습(예: 이mitation)과 상호작용으로부터의 학습(예: RL)을 결합하면 수렴 속도가 빨라지고 강건성이 향상되며, 이는 향후 하이브리드 학습이 실현 가능한 방향으로 보인다.
• 행동 계획 시스템 평가를 위한 표준화된 벤치마크가 현재 존재하지 않으며, 이는 분야의 평가 인프라에 있어 중요한 격차를 드러낸다.