[논문 리뷰] A Spatially and Temporally Attentive Joint Trajectory Prediction Framework for Modeling Vessel Intent

Jasmine Sekhon, Cody Fleming|arXiv (Cornell University)|2019. 12. 18.

Maritime Navigation and Safety참고 문헌 15인용 수 13

한 줄 요약

이 논문은 오직 위치 데이터만을 사용하여 주변 선박 간의 동적 상호작용을 모델링함으로써 선박의 의도를 예측하는 새로운 공간-시간 주의 메커니즘을 갖춘 딥러닝 프레임워크를 제안한다. 학습 가능한 선박 도메인 파라미터와 교차 주의 메커니즘을 도입함으로써, 복잡한 공간-시간 의존성을 포착할 수 있으며, 이는 정확한 장기적 의도 예측과 선박 도메인과 같은 항해 규칙의 데이터 기반 추론을 가능하게 한다.

ABSTRACT

Ships, or vessels, often sail in and out of cluttered environments over the course of their trajectories. Safe navigation in such cluttered scenarios requires an accurate estimation of the intent of neighboring vessels and their effect on the self and vice-versa well into the future. In manned vessels, this is achieved by constant communication between people on board, nautical experience, and audio and visual signals. In this paper we propose a deep neural network based architecture to predict intent of neighboring vessels into the future for an unmanned vessel solely based on positional data.

연구 동기 및 목표

• 항만과 같은 혼잡한 환경에서 자율 표류선(ASV)의 의도 예측을 향상시키기 위해.
• 표준 LSTMs가 공간적으로 근접한 에이전트 간의 상호작용을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 선박 도메인과 같은 암묵적인 항해 규칙을 프로시저적 가정 없이 관측 데이터에서 직접 유추하기 위해.
• 랜덤 가중치 초기화에도 불구하고 일관된 공간 상호작용 패턴을 학습할 수 있는 강건하고 일반화 가능한 모델을 개발하기 위해.

제안 방법

• 모델은 상대 위치, 헤딩, 거리 기반으로 관련 선박에 동적으로 주의를 기울일 수 있도록 LSTMs와 공간-시간 주의 메커니즘을 조합한 새로운 아키텍처를 사용한다.
• 상대 방향과 헤딩(φ21)에 따라 변화하는 학습 가능한 선박 도메인 파라미터 S를 도입함으로써, 같은 거리에 있지만 다른 방향을 향한 이웃 선박에 대해 다른 주의 가중치를 부여할 수 있다.
• 공간 주의 메커니즘이 시간 주의와 교차되어, 자기 선박에 대한 공간적 관련성이 높은 이웃 선박의 과거 관측치를 가중치로 평가할 수 있도록 한다.
• 모델은 AIS 위치 데이터를 기반으로 엔드 투 엔드로 훈련되며, 외부 규칙이나 레이블이 부여된 의도 애너테이션에 의존하지 않고 향후 궤적과 의도를 예측하도록 학습된다.
• 주의 메커니즘은 공간적으로 가까운 선박 간의 LSTM 은닉 상태가 상호 영향을 미치도록 하여, 궤적 계획에서의 상호 의존성을 모델링한다.
• 다양한 랜덤 초기화를 통해 프레임워크의 강건성과 학습된 공간 상호작용 패턴의 일관성을 평가하기 위해 검증된다.

실험 결과

연구 질문

• RQ1 오직 위치 데이터만을 사용하여 복잡하고 혼잡한 해양 환경에서 선박의 향후 의도를 정확하게 예측할 수 있는가?
• RQ2 다중 공존 자율 에이전트 간의 공간적 상호작용을 포착하기 위해 시퀀스 모델을 어떻게 확장할 수 있는가?
• RQ3 데이터 기반 모델이 관측 데이터에서 직접 암묵적인 항해 규칙(예: 선박 도메인)을 어느 정도 유추할 수 있는가?
• RQ4 모델의 주의 메커니즘이 다양한 훈련 런에 걸쳐 일관되고 해석 가능한 공간 상호작용 패턴을 생성하는가?
• RQ5 모델이 학습한 공간 주의 메커니즘이 실제 항해 행동을 반영하는가, 예를 들어 만남 또는 교차하는 선박에 대해 더 많은 주의를 기울이는가?

주요 결과

• 모델은 복잡한 해양 환경에서 표준 LSTMs보다 의도 예측 정확도를 향상시키는 공간-시간 주의 표현을 성공적으로 학습하였다.
• 학습된 선박 도메인 파라미터 S는 이웃 선박이 정면으로 다가올 때(120° ≤ φ21 < 180°)이고, 상대 방향이 ±60° 이내일 경우에 가장 높으며, 이는 고위험 충돌 상황에 더 많은 주의를 기울임을 나타낸다.
• 모델은 우현 측면에서 다가오는 선박(60° ≤ φ21 < 120°)이나 직접 앞에서 오는 선박에 대해 더 강하게 주의를 기울이며, 이는 실제 항해 우선순위를 반영한다.
• 다른 랜덤 가중치 초기화에도 불구하고, 다섯 번의 훈련 런 동안 도메인 파라미터 S가 일관된 값을 수렴함을 확인하여 강건성과 재현 가능성을 입증하였다.
• 자기 선박 뒤에 있고 멀어지는 선박은 거리가 같더라도 주의를 덜 기울이며, 이는 항해적 영향력이 감소함을 반영한다.
• 이 프레임워크는 선박 도메인 기하학과 상호작용 규칙의 데이터 기반 추론을 가능하게 하며, 이는 해양 자율주행의 다른 모델이나 안전 핵심 시스템으로도 이식 가능하다.