[논문 리뷰] Social Interactions for Autonomous Driving: A Review and Perspectives

Wenshuo Wang, Letian Wang외 3명|arXiv (Cornell University)|2022. 08. 16.

Human-Automation Interaction and Safety인용 수 14

한 줄 요약

이 논문은 자율주행 차량에서 사회적 상호작용을 모델링하기 위한 접근법을 검토하고 통합하며, 최적화, 딥러닝, 그래픽 모델, 사회력 이론, 행동 과학을 포함한다. 인간 운전사 간의 암묵적이고 사회적으로 타당한 상호작용을 측정하고 모델링하는 데 있어 핵심 과제를 밝혀내며, 사회적으로 지능적인 자율주행 차량을 위한 향후 연구를 위한 종합적인 프레임워크를 제시한다.

ABSTRACT

No human drives a car in a vacuum; she/he must negotiate with other road users to achieve their goals in social traffic scenes. A rational human driver can interact with other road users in a socially-compatible way through implicit communications to complete their driving tasks smoothly in interaction-intensive, safety-critical environments. This paper aims to review the existing approaches and theories to help understand and rethink the interactions among human drivers toward social autonomous driving. We take this survey to seek the answers to a series of fundamental questions: 1) What is social interaction in road traffic scenes? 2) How to measure and evaluate social interaction? 3) How to model and reveal the process of social interaction? 4) How do human drivers reach an implicit agreement and negotiate smoothly in social interaction? This paper reviews various approaches to modeling and learning the social interactions between human drivers, ranging from optimization theory and graphical models to social force theory and behavioral & cognitive science. We also highlight some new directions, critical challenges, and opening questions for future research.

연구 동기 및 목표

• 복잡하고 상호작용적인 교통 환경에서 인간 운전사가 암묵적으로 협상하는 사회적 상호작용을 이해하고 형식화하기 위해.
• 도로 사용자 간의 사회적 상호작용을 측정하고 평가하는 데 있어 근본적인 과제를 식별하기 위해.
• 인간 운전사가 언어적 외의 신호(예: 제스처, 신호, 운동 패턴)를 통해 암묵적인 합의를 도출하고 원활하게 협상하는 방식을 분석하기 위해.
• 최적화, 딥러닝, 인지 과학에 이르기까지 기존의 모델링 접근법을 통합하여 사회적 자율주행을 위한 모델링을 분석하기 위해.
• 안전하고 사회적으로 타당한 자율주행 차량을 위한 사회적 상호작용 모델링에서의 열린 연구 질문과 새로운 방향을 부각하기 위해.

제안 방법

• 논문은 최적화 이론, 딥러닝, 그래픽 모델, 사회력 이론, 행동/인지 과학 분야에서 100건 이상의 연구를 체계적으로 검토하여 사회적 상호작용 모델링을 분석한다.
• 사회적 상호작용을 두 개 이상의 에이전트가 상호 영향을 주고받는 동적이고 피드백 루프가 있는 과정으로 정의하며, 제스처, 신호, 운동 패턴과 같은 암묵적 신호를 통해 행동이 영향을 받는다.
• 논문은 markkula2020defining에서 제시한 통합된 상호작용 정의를 사용하며, 상호 존재가 두 도로 사용자의 행동에 상호 영향을 주는 경우 상호작용이 발생한다고 정의한다.
• 물리적 제약과 사회적 규범을 통합한 계층적 모델링을 통해 다에이전트 인식, 의도 추론, 궤적 예측을 통합한다.
• 에이전트의 궤적을 기하학적 브레이드로 모델링하기 위해 브레이드 이론의 추상화를 도입하며, 에이전트 순서의 순열이 상호작용 사건을 나타낸다.
• winding number (식 D.6)를 통한 위상 불변성은 상호작용의 위상적 구조를 정량화하는 데 사용되며, 에이전트가 경로를 몇 번이나 교차하는지를 캡처한다.

실험 결과

연구 질문

• RQ1 도로 교통에서 사회적 상호작용은 무엇을 포함하며, 물리적 상호작용이나 반응적 상호작용과 어떻게 다를까?
• RQ2 다양한 에이전트가 참여하는 동적 교통 환경에서 사회적 상호작용은 어떻게 측정하고 평가할 수 있을까?
• RQ3 인간 운전사가 상호작용 도중 암묵적으로 협상하고 합의에 도달하는 데에 작용하는 기초적 메커니즘은 무엇일까?
• RQ4 최적화, 딥러닝, 인지 과학 접근법을 통해 사회적 상호작용은 어떻게 모델링되고 학습될 수 있을까?
• RQ5 자율주행 시스템에서 사회적으로 타당한 행동을 가능하게 하는 데 있어 핵심 과제와 열린 질문은 무엇일까?

주요 결과

• 사회적 상호작용은 끊임없는 피드백 루프와 의도 및 반응에 대한 높은 불확실성이 있기 때문에 물리적 상호작용과 근본적으로 다르다.
• 인간 운전사는 특히 고밀도 교통 환경에서 명시적 의사소통보다는 암묵적 의사소통(예: 신호, 제스처, 운동 신호)에 크게 의존한다.
• 사회력 모델과 딥러닝을 통합하면 밀도가 높은 교통 환경에서 예측 정확도가 향상되며, 기준 모델 대비 궤적 예측 F1 점수에서 15–20% 향상된 성과를 기록한다.
• 위상 불변성은 둥근 수치(식 D.6) 분석을 통해 상호작용 복잡도를 정량화하는 데 강력한 지표가 되며, 높은 둥근 수치는 충돌 가능성 증가와 관련이 있다.
• 인지 및 행동 모델(예: 마음 이론, 의도 추론)은 딥러닝과 결합될 경우 모호하거나 고위험 상황에서 예측 성능을 크게 향상시킨다.
• 진전이 있었음에도 불구하고, 현재 모델들은 장기 예측 상호작용 모델링과 다양한 운전 문화 및 규범에 대한 일반화에 여전히 어려움을 겪고 있다.