[논문 리뷰] Navigation Turing Test (NTT): Learning to Evaluate Human-Like Navigation

Sam Devlin, Raluca Georgescu외 7명|arXiv (Cornell University)|2021. 05. 20.

Social Robot Interaction and HRI인용 수 5

한 줄 요약

이 논문은 인간의 유사성 평가를 자동화하는 네비게이션 튜링 테스트(ANTT)를 소개한다. 이는 인간의 이동 행동과 에이전트의 이동 행동 간의 인간 유사성에 대한 인간의 판단을 예측하기 위해 여섯 가지 분류 아키텍처를 사용하는 기계학습 프레임워크이다. 인간과 에이전트의 경로를 높은 정확도로 구분할 수는 있지만, 에이전트 간의 미세한 비교에서는 어려움을 겪으며, 이는 인간 유사성의 미세한 특성을 모델링하는 데 있어 핵심 과제임을 드러낸다.

ABSTRACT

A key challenge on the path to developing agents that learn complex human-like behavior is the need to quickly and accurately quantify human-likeness. While human assessments of such behavior can be highly accurate, speed and scalability are limited. We address these limitations through a novel automated Navigation Turing Test (ANTT) that learns to predict human judgments of human-likeness. We demonstrate the effectiveness of our automated NTT on a navigation task in a complex 3D environment. We investigate six classification models to shed light on the types of architectures best suited to this task, and validate them against data collected through a human NTT. Our best models achieve high accuracy when distinguishing true human and agent behavior. At the same time, we show that predicting finer-grained human assessment of agents' progress towards human-like behavior remains unsolved. Our work takes an important step towards agents that more effectively learn complex human-like behavior.

연구 동기 및 목표

• 인간 기반 평가의 스케일러빌리티 및 속도 제약를 해결하기 위해 인간 유사 네비게이션 행동 평가의 문제를 해결한다.
• 강화학습 에이전트의 학습 반복 과정에서 확장 가능한 인간 판단의 자동 프록시를 개발한다.
• 네ural network 아키텍처 중에서 네비게이션 경로에서 인간 유사성을 가장 잘 포착하는 것은 무엇인지 규명한다.
• 인간 네비게이션 튜링 테스트(HNTT)에서 수집한 인간 애너테이션 기반 판단과 비교하여 자동화된 시스템을 검증한다.
• 현재 모델이 단순한 인간 대 에이전트 구분을 넘어서 인간 유사성의 미세한 변화를 포착할 수 있는지 조사한다.

제안 방법

• 인간 플레이어와 강화학습 에이전트의 경로 데이터를 기반으로 여섯 가지 분류 모델—두 개의 심벌릭, 두 개의 시각적, 두 개의 하이브리드—을 훈련한다.
• 테스트 경로에서 별도의 데이터를 사용하여 5겹 교차검증을 통해 훈련 및 하이퍼파라미터 튜닝을 수행한다.
• 정확도 향상을 위해 트레이젝터리 수준에서 모델 예측을 다수결 투표 방식으로 통합한다.
• 모델 출력을 두 가지 유형의 인간 판단과 비교한다: 인간 대 에이전트, 심벌릭 대 하이브리드 에이전트 쌍.
• 정체성 정확도(인간/에이전트 식별)와 슔피어만 순위 상관관계(상대적 인간 유사성 순위)를 사용해 성능을 평가한다.
• 자신의 자동화된 ANTT 시스템을 검증하기 위해 인간 애너테이션 기반의 인간 NTT 판단을 기준으로 삼는다.

실험 결과

연구 질문

• RQ1 자동화된 모델은 네비게이션 행동에서 인간의 인간 유사성 판단을 정확하게 예측할 수 있는가?
• RQ2 어느 모델 아키텍처가 인간과 에이전트의 경로를 구분하는 데 가장 효과적인가?
• RQ3 자동화된 모델은 단순한 인간 대 에이전트 분류를 넘어서 다양한 에이전트의 상대적 인간 유사성을 얼마나 잘 포착할 수 있는가?
• RQ4 심벌릭 모델과 시각적 모델은 새로운 경로에 대해 얼마나 잘 일반화되는가?
• RQ5 현재 모델이 인간 판단의 미세한 특성을 포착하는 데에서 어떤 한계를 지니는가?

주요 결과

• 모든 모델이 보류된 테스트 데이터에 잘 일반화되었으며, 정체성 정확도는 TD-CNN의 0.583에서 심벌릭 모델의 0.850까지 변동하였다.
• 심벌릭 모델가 인간 판단과 가장 높은 일치를 보였으며, 특히 인간과 에이전트의 경로를 구분하는 데서 두드러졌다.
• 스피어만 순위 상관관계 분석 결과, 인간 대 에이전트 비교에서는 중간에서 높은 일치를 보였으며, 특히 심벌릭 모델과 톱다운 CNN 모델에서 두드러졌다.
• 하이브리드-심벌릭 에이전트 쌍의 순위 성능은 열악했으며, 음수 상관관계와 높은 분산을 보여, 미세한 인간 유사성 특성을 잘 포착하지 못함을 시사했다.
• 이중 분류에서의 높은 정확도에도 불구하고, 현재 모델는 인간 유사성 스펙트럼을 따라 에이전트를 신뢰성 있게 순위 매기지 못하며, 이는 여전히 열려 있는 과제임을 시사한다.
• 결과는 시각적 특징보다 더 풍부한 정보를 담고 있음에도 불구하고, 심벌릭 표현 방식이 인간 판단 메커니즘과 더 잘 일치할 수 있음을 시사하며, 예상과는 반대로 나타났다.