[논문 리뷰] Interaction-aware Decision Making with Adaptive Strategies under Merging Scenarios

Yeping Hu, Alireza Nakhaei외 2명|arXiv (Cornell University)|2019. 04. 12.

Autonomous Vehicle Technology and Safety참고 문헌 16인용 수 14

한 줄 요약

이 논문은 교차로에서 다른 운전자의 협조성과 도로 우선순위에 따라 자율주행차가 융통성 있게 병합 행동을 조정할 수 있도록 하는 상호작용 인식 결정 제어 기반 적응 전략(이하 IDAS)을 제안한다. 교육 과정 학습과 마스킹 기법을 활용해, 다양한 병합 시나리오에서 안전하고 효율적이며 인간과 유사한 협상 전략을 생성하는 단일 정책을 학습한다. 기존 기준 방법 대비 영구적인 충돌이 발생하지 않으며 병합 효율성이 향상된다.

ABSTRACT

In order to drive safely and efficiently under merging scenarios, autonomous vehicles should be aware of their surroundings and make decisions by interacting with other road participants. Moreover, different strategies should be made when the autonomous vehicle is interacting with drivers having different level of cooperativeness. Whether the vehicle is on the merge-lane or main-lane will also influence the driving maneuvers since drivers will behave differently when they have the right-of-way than otherwise. Many traditional methods have been proposed to solve decision making problems under merging scenarios. However, these works either are incapable of modeling complicated interactions or require implementing hand-designed rules which cannot properly handle the uncertainties in real-world scenarios. In this paper, we proposed an interaction-aware decision making with adaptive strategies (IDAS) approach that can let the autonomous vehicle negotiate the road with other drivers by leveraging their cooperativeness under merging scenarios. A single policy is learned under the multi-agent reinforcement learning (MARL) setting via the curriculum learning strategy, which enables the agent to automatically infer other drivers' various behaviors and make decisions strategically. A masking mechanism is also proposed to prevent the agent from exploring states that violate common sense of human judgment and increase the learning efficiency. An exemplar merging scenario was used to implement and examine the proposed method.

연구 동기 및 목표

• 자율주행차가 병합 시나리오 중 인간 운전차와 안전하고 효율적으로 상호작용할 수 있도록 하는 의사결정 프레임워크를 개발하는 것.
• 다양한 운전자 협조성과 교통 조건에 적응하지 못하는 규칙 기반 및 고정 행동 모델의 한계를 해결하는 것.
• 수동적으로 다른 운전자의 행동을 추론하고 이를 바탕으로 전략을 조정하는 수동적 규칙 없이도 통합 정책을 학습하는 것.
• 동적 상호작용을 모델링하고 현실적인 인간과 유사한 협상 행동을 우선시함으로써 병합 효율성과 안전성을 향상시키는 것.
• 다중 에이전트 강화학습 환경에서 엔드 투 엔드 학습을 통해 다양한 병합 시나리오에 대한 일반화를 가능하게 하는 것.

제안 방법

• 이중 크리틱스 아키텍처를 활용한 다중 에이전트 강화학습(MARL)을 적용: 국부적 의사결정을 위한 분리된 가치 함수와 전역적 조율를 위한 중심화된 행동-가치 함수를 조합한다.
• 훈련 시나리오의 복잡성을 점진적으로 증가시키는 교육 과정 학습 전략을 도입해, 정책의 샘플 효율성과 수렴 성능을 향상시킨다.
• 일상적인 인간 운전 행동을 위반하는 상태에서의 탐색을 억제하기 위해 마스킹 기법을 도입해 학습의 안정성과 효율성을 향상시킨다.
• 운전자 협조성을 연속형 유형 변수($b_{type}^{merge}$)로 모델링하여 에이전트가 주변 차량의 다양한 행동 성향을 추론하고 이를 바탕으로 전략을 조정할 수 있도록 한다.
• 예측 경로와 알려진 병합 지점이 있는 시뮬레이션 환경에서 엔드 투 엔드로 정책을 학습하며, 안전하고 효율적인 협상에 집중한다.
• 도로 우선순위(메인라인 대비 병합라인)와 상대적 위치에 기반한 적응형 전략 생성을 지원해 맥락 인식 의사결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자율주행차는 주변 운전자의 협조성 수준에 따라 어떻게 병합 전략을 동적으로 조정할 수 있는가?
• RQ2 다양한 교통 밀도와 운전자 행동을 가진 다양한 병합 시나리오에 대해 단일 통합 정책이 얼마나 잘 일반화되는가?
• RQ3 명시적인 규칙 기반 프로그래밍 없이 강화학습 기반 접근법이 인간과 유사한 협상 행동(예: 양보 또는 의도에 따라 가속)을 학습할 수 있는가?
• RQ4 교육 과정 학습과 마스킹 기법의 통합이 복잡한 상호작용 시나리오에서 샘플 효율성과 정책 안정성에 어떻게 기여하는가?
• RQ5 학습된 정책은 다양한 테스트 시나리오에서 영구적인 충돌 없이도 높은 병합 효율성을 유지할 수 있는가?

주요 결과

• IDAS 정책은 병합 차량의 운전자 유형에 따라 변화하는 주행 행동을 성공적으로 생성한다. 이는 다양한 협조성 수준에서 감속 패턴과 병합 시점의 변화로 확인된다.
• 병합 지점에 동시에 도착하는 시나리오에서 정책은 효과적인 협상을 가능하게 한다: 매우 협조적인 경우 병합 차량은 감속하고, 메인라인 차량이 양보할 의지를 감지하면 가속한다.
• 병합 차량은 상대 거리와 인식된 의도에 따라 전략을 조정한다. 뒤에 있을 경우 속도를 줄이고 필요시 양보하며, 안전한 간격을 감지하면 가속한다.
• 모든 테스트 시나리오에서 정책은 영구적인 충돌 없이 안정적인 안전 성능을 보이며, 다양한 상호작용 조건에서도 견고함을 입증한다.
• 양측 차량의 속도 프로파일은 인간과 유사한 행동을 보이며, 병합 전 감속과 상호 예측에 따른 동적 속도 조정이 이루어진다.
• 교육 과정 학습과 적응형 전략 학습 덕분에 기준 방법 대비 성공률과 병합 효율성이 향상되었으며, 다양한 시나리오에 대한 일반화 능력도 향상되었다.