[논문 리뷰] Measuring Surprise in the Wild

Azadeh Dinparastdjadid, Isaac Supeene외 1명|arXiv (Cornell University)|2023. 05. 12.

Psychology of Moral and Emotional Judgment인용 수 4

한 줄 요약

이 논문은 인지과학 기반의 놀라움 모델과 학습된 생성 모델을 융합하여 실제 동적 환경, 특히 도로 교통에서의 놀라움을 측정하는 새로운 계산 프레임워크를 제안한다. Antithesis는 놀라운 정보 획득을 필터링하여 기존의 KL 발산 기반 방법보다 진정으로 놀라운 사건을 더 잘 탐지하는 놀라움 측도를 제안한다.

ABSTRACT

The quantitative measurement of how and when we experience surprise has mostly remained limited to laboratory studies, and its extension to naturalistic settings has been challenging. Here we demonstrate, for the first time, how computational models of surprise rooted in cognitive science and neuroscience combined with state-of-the-art machine learned generative models can be used to detect surprising human behavior in complex, dynamic environments like road traffic. In traffic safety, such models can support the identification of traffic conflicts, modeling of road user response time, and driving behavior evaluation for both human and autonomous drivers. We also present novel approaches to quantify surprise and use naturalistic driving scenarios to demonstrate a number of advantages over existing surprise measures from the literature. Modeling surprising behavior using learned generative models is a novel concept that can be generalized beyond traffic safety to any dynamic real-world environment.

연구 동기 및 목표

• 실제 복잡한 환경, 예를 들어 도로 교통과 같은 환경에 적용 가능한 정량적이고 계산적으로 구현 가능한 놀라움 측도를 개발하는 것.
• 충돌 탐지 및 운전자 행동 모델링에서 놀라움의 중요성이 인정됨에도 불구하고, 교통 안전 연구 분야에서 운영 가능한 놀라움 모델의 부재를 해결하는 것.
• 최신 기계학습 기법을 활용하여 뇌과학 및 인지과학 기반의 놀라움 모델을 실험실 외 환경으로 일반화하는 것.
• 기존의 믿음 수정이나 모드 축소와 같은 놀라운 사건이 아닌 정보 업데이트와 진정으로 놀라운 사건을 구분할 수 있는 놀라움 지표를 설계하는 것.
• 원리적인 확률론적 프레임워크를 통해 자율주행 차량의 안전성, 충돌 탐지, 인간 행동 평가 등에 적용 가능하게 하는 것.

제안 방법

• 프레임워크는 생성 모델을 에이전트의 세계에 대한 내부 믿음으로 사용하며, 미래 상태에 대한 확률 분포를 통해 기대치를 표현한다.
• 놀라움은 사전 및 사후 예측 분포 간의 Kullback-Leibler (KL) 발산을 통해 믿음 불일치로 측정된다: $D_{KL}(P(x|y) \parallel P(x))$.
• 제안된 Antithesis 측도는 관측치가 평균 정보량을 벗어나 있고, 새로운 증거 이후에 더 가능성 높아진 영역에만 KL 적분을 제한하며, 이를 정의하는 조건자($C(P,x,y)$)를 사용한다.
• Antithesis는 두 부분 조건을 적용한다: (i) $\log(P(x)) < E_{x'}[\log(P(x'))]$, 즉 사전 기대치에 비해 낮은 정보량을 의미하며, (ii) $P(x|y) > P(x)$, 즉 이전에 가능성 낮았던 결과에 대해 믿음이 증가함을 의미한다.
• 이 방법은 샘플 기반 통합을 활용하여 Antithesis를 계산하며, 조건 $C$를 충족하지 못하는 샘플은 기각함으로써 놀랍지 않은 업데이트를 필터링한다.
• 이 접근법은 자연주의 주행 시나리오에서 검증되었으며, 돌발 보행자 횡단과 같은 진정으로 놀라운 사건에 대해 더 민감하게 반응함을 보였다.

실험 결과

연구 질문

• RQ1 기존 실험실 기반 모델이 실패하는 실세계 복잡 환경, 예를 들어 도로 교통에서 놀라움을 정량적으로 어떻게 측정할 수 있는가?
• RQ2 다이나믹 시스템에서 진정으로 놀라운 사건과 일반적인 믿음 갱신 또는 정보 정련 사이의 차이는 무엇인가?
• RQ3 믿음 불일치와 확률적 생성 모델 기반 놀라움 지표가 기존의 표준 KL 발산보다 예측 불가능한 행동 탐지에서 더 우수한 성능을 보일 수 있는가?
• RQ4 제안된 Antithesis 측도는 진정으로 놀라운 사건에 대해 기존의 놀라움 측도보다 민감도와 특이도 측면에서 어떻게 향상되는가?
• RQ5 이러한 모델은 교통 안전 외에도 다른 다이나믹 실세계 환경으로 일반화될 수 있는가?

주요 결과

• Antithesis는 '기대를 벗어난다'는 조건을 통해 KL 발산보다 더 높은 비율의 0 놀라움 값을 기록하며, 놀랍지 않은 업데이트로 인한 거짓 경고를 감소시킴을 나타낸다.
• 이 방법은 돌발 보행자로 인한 급제동 사건을 매우 놀라운 사건으로 성공적으로 식별하는 반면, 신호 켜기와 같은 일상적인 행동은 놀랍지 않게 정확히 분류한다.
• Antithesis는 기존의 KL 발산과 달리, 믿음 갱신에서 흔히 발생하는 '모드 축소' 및 '모드 제거' 사건을 효과적으로 필터링하여 진정으로 놀라운 사건이 아니라는 점을 명확히 한다.
• 이 프레임워크는 정보량과 믿음 업데이트 강도를 동시에 통합함으로써 믿음 불일치 측도의 강건성을 향상시켜 중요한 교통 사고 사건 탐지 능력을 향상시킴을 보여준다.
• 실증적 검증 결과, Antithesis는 기존 기준 방법보다 자연주의 주행에서 돌발 방지 조작과 같은 직관적인 놀라움 개념을 더 잘 포착함을 확인했다.
• 이 방법은 에이전트가 확률적 기대를 형성하는 모든 다이나믹 환경에 일반화 가능하며, 자율주행 시스템, 인간-로봇 상호작용, 행동 안전 분석 등 다양한 분야에 응용 가능성이 있다.