[논문 리뷰] AOL: Adaptive Online Learning for Human Trajectory Prediction in Dynamic Video Scenes

Manh Huynh, Gita Alaghband|arXiv (Cornell University)|2020. 02. 16.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 9

한 줄 요약

이 논문은 동적 영상 환경에서 인간의 궤적 예측을 위한 적응형 온라인 학습 프레임워크인 AOL을 제안한다. LSTM 및 FPL 모델과 통합하고, 최소 최근 사용(LRU) 전략을 사용하여 최적의 가중치를 유지함으로써, AOL은 예측 정확도를 최대 50% 향상시켰으며 평균 28% 향상되었고, 20fps에서 실시간 추론을 유지한다.

ABSTRACT

We present a novel adaptive online learning (AOL) framework to predict human movement trajectories in dynamic video scenes. Our framework learns and adapts to changes in the scene environment and generates best network weights for different scenarios. The framework can be applied to prediction models and improve their performance as it dynamically adjusts when it encounters changes in the scene and can apply the best training weights for predicting the next locations. We demonstrate this by integrating our framework with two existing prediction models: LSTM [3] and Future Person Location (FPL) [1]. Furthermore, we analyze the number of network weights for optimal performance and show that we can achieve real-time with a fixed number of networks using the least recently used (LRU) strategy for maintaining the most recently trained network weights. With extensive experiments, we show that our framework increases prediction accuracies of LSTM and FPL by ~17% and 28% on average, and up to ~50% for FPL on the worst case while achieving real-time (20fps).

연구 동기 및 목표

• 환경 조건이 시간이 지남에 따라 변화하는 동적 영상 환경에서 높은 예측 정확도를 유지를 하는 데 도전한다.
• 장면 이동이나 인간 운동 패턴의 변화에 적응하지 못하는 정적 모델의 한계를 극복한다.
• 다양한 장면 조건에 맞게 지속적으로 학습하고 최고 성능을 보이는 네트워크 가중치를 선택하는 프레임워크를 개발한다.
• LRU 정책을 사용하여 고정된 수의 사전 훈련된 모델 가중치를 효율적으로 관리하여 실시간 추론을 가능하게 한다.
• 구조적 변경 없이 기존 궤적 예측 모델의 성능을 향상시킨다.

제안 방법

• 새로운 장면 데이터가 도착할 때마다 실시간으로 모델 가중치를 재학습하고 업데이트하는 적응형 온라인 학습(AOL) 프레임워크를 설계한다.
• 기존 모델인 LSTM 및 미래 사람 위치(FPL)와 통합하여 다양한 동적 환경에서의 일반화 능력을 향상시킨다.
• 저항성 추론을 위해 최소 최근 사용(LRU) 전략을 적용하여 최신으로 훈련된 가중치의 고정된 수를 유지한다.
• 현재 장면 맥락에서 최근 성능을 기반으로 캐시에서 가장 우수한 성능을 보이는 네트워크 가중치를 동적으로 선택한다.
• 온라인 학습을 사용하여 모델 파라미터를 점진적으로 업데이트함으로써 전체 재학습 없이도 장면 변화에 신속히 적응할 수 있도록 한다.
• 정확도와 계산 효율성의 균형을 맞추기 위해 유지하는 가중치 수를 최적화하여 20fps에서 실시간 성능를 달성한다.

실험 결과

연구 질문

• RQ1 환경 조건이 변화하는 동적 영상 환경에서 적응형 온라인 학습 프레임워크가 궤적 예측 정확도를 향상시킬 수 있는가?
• RQ2 LSTM 및 FPL과 같은 기존 모델의 성능은 적응형 가중치 선택 및 온라인 학습을 통해 어떻게 변화하는가?
• RQ3 정확도를 극대화하면서도 실시간 성능를 유지를 위해 유지할 최적의 모델 가중치 수는 얼마인가?
• RQ4 LRU 기반의 가중치 관리 전략은 동적 환경에서 정확도와 추론 속도를 효과적으로 균형 잡는 데 기여하는가?
• RQ5 기준 모델 대비 악조건의 장면 변화 상황에서 프레임워크는 어떻게 성능를 발휘하는가?

주요 결과

• AOL은 FPL 모델의 평균 예측 정확도를 28% 향상시켰고, 악조건 상황에서는 최대 50% 향상되었다.
• LSTM 모델은 AOL 프레임워크를 통합함으로써 평균 정확도가 17% 향상되었다.
• LRU 전략을 통해 관리되는 고정된 수의 모델 가중치를 사용하여 20fps에서 실시간 추론을 유지하였다.
• 성능와 계산 비용의 균형을 맞추기 위해 유지하는 네트워크 가중치의 수가 최적화되어 효율적인 구현을 가능케 하였다.
• 기존 모델에 AOL을 통합하는 것은 플러그 앤 플레이 방식으로, 구조적 수정 없이도 가능하다.
• LRU 기반의 가중치 캐싱 전략은 가장 관련성 있고 최신의 모델 가중치를 효과적으로 선택하여 신속하고 정확한 추론을 보장한다.