[논문 리뷰] Tree Memory Networks for Modelling Long-term Temporal Dependencies

Tharindu Fernando, Simon Denman외 3명|arXiv (Cornell University)|2017. 03. 12.

Human Pose and Action Recognition참고 문헌 43인용 수 9

한 줄 요약

이 논문은 순차적 메모리가 아닌 계층적 트리 구조를 사용하여 시퀀스-투-시퀀스 작업에서 장기적이고 단기적 시간적 의존성을 모델링하는 새로운 메모리 아키텍처인 트리 메모리 네트워크(TMN)를 제안한다. 이 방법은 재귀적 메모리 구조를 통해 최근 맥락과 장기적 패턴을 효과적으로 포착함으로써 항공기 및 보행자 궤적 예측에서 최신 기술(SOTA) 모델을 능가한다.

ABSTRACT

In the domain of sequence modelling, Recurrent Neural Networks (RNN) have been capable of achieving impressive results in a variety of application areas including visual question answering, part-of-speech tagging and machine translation. However this success in modelling short term dependencies has not successfully transitioned to application areas such as trajectory prediction, which require capturing both short term and long term relationships. In this paper, we propose a Tree Memory Network (TMN) for modelling long term and short term relationships in sequence-to-sequence mapping problems. The proposed network architecture is composed of an input module, controller and a memory module. In contrast to related literature, which models the memory as a sequence of historical states, we model the memory as a recursive tree structure. This structure more effectively captures temporal dependencies across both short term and long term sequences using its hierarchical structure. We demonstrate the effectiveness and flexibility of the proposed TMN in two practical problems, aircraft trajectory modelling and pedestrian trajectory modelling in a surveillance setting, and in both cases we outperform the current state-of-the-art. Furthermore, we perform an in depth analysis on the evolution of the memory module content over time and provide visual evidence on how the proposed TMN is able to map both long term and short term relationships efficiently via a hierarchical structure.

연구 동기 및 목표

• 시퀀스-투-시퀀스 학습에서 장기적 시간적 의존성을 모델링하는 데 도전하는 것, 특히 역사적 패턴을 기억이 필요한 작업에 초점한다.
• RNN 및 LSTM에서 순차적 메모리의 한계를 극복하는 것, 특히 기울기 소실 문제로 인해 장기적 관계가 무시되고 단기적 요소가 지배하는 경향이 있기 때문이다.
• 시계열 데이터에서 단기적 동적 특성과 장기적 구조적 패턴을 효율적으로 포착할 수 있는 메모리 아키텍처를 설계하는 것.
• 실제 궤적 예측 작업에 대해 제안된 아키텍처의 일반화 가능성과 효과성을 입증하는 것.
• 메모리 진화의 시각적 및 정량적 분석을 제공하여, 계층적 구조가 최근 입력과 역사적 입력 모두에 대한 강력한 표현을 가능하게 하는지 보여주는 것.

제안 방법

• TMN 아키텍처는 입력 모듈, 컨트롤러, 그리고 순서가 아닌 재귀적 트리로 구성된 메모리 모듈의 세 가지 구성 요소로 이루어져 있다.
• 메모리 모듈은 역사적 상태를 트리 계층으로 저장하여 다양한 시간 스케일에서 장기적 의존성을 효율적으로 검색하고 집계할 수 있도록 한다.
• 각 시간 단계에서 모델은 현재 입력과 이전 단계의 메모리 상태를 바탕으로 출력을 계산하며, 트리 구조 메모리 노드에 대해 미분 가능한 어텐션 메커니즘을 사용한다.
• 트리 구조는 고수준 노드가 추상적이고 장기적인 패턴을 표현하도록 하며, 저수준은 단기적 동적 특성을 캡처하도록 하여 시간적 관계를 공동으로 모델링할 수 있다.
• 컨트롤러는 입력의 관련성에 따라 메모리 노드를 동적으로 선택하고 업데이트하며, 트리 전반에 정보 흐름을 제어하는 게이팅 메커니즘을 사용한다.
• 모델은 순차적 예측 작업(예: 궤적 예측)에 맞게 조정된 손실 함수를 사용하여 백프로파게이션을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 순차적 메모리보다 트리 구조 메모리 모듈이 시계열 데이터에서 장기적 의존성을 모델링하는 데 더 우수한 성능을 보일 수 있는가?
• RQ2 메모리의 계층적 조직이 단기적 및 장기적 시간 패턴을 더 잘 표현하는 데 어떻게 기여하는가?
• RQ3 제안된 TMN 모델이 다양한 시간 역학을 가진 시퀀스-투-시퀀스 작업에 얼마나 잘 일반화되는가?
• RQ4 메모리 활성화는 시간이 지남에 따라 어떻게 변화하는가, 그리고 의미 있는 장기적 패턴을 반영할 수 있는가?
• RQ5 트리 메모리 구조는 최근 맥락에 대한 의존도를 줄여 반복적이거나 순환적인 과정에서 예측의 강건성을 향상시키는가?

주요 결과

• TMN 모델은 항공기 궤적 예측에서 최신 기술(SOTA) 성능을 달성하여 정확도와 장기 예측 수준 모두에서 기존 방법을 능가한다.
• 그랜드 센트럴 데이터셋에서의 보행자 궤적 예측에서는 기준 모델 대비 예측 오차가 크게 감소하였으며, 특히 반복적인 유동 패턴이 있는 상황에서 뚜렷한 개선이 관찰되었다.
• 시각적 분석 결과, 트리의 고수준에서의 메모리 활성화는 최근 역사가 아니라 입력 패턴에 의해 영향을 받는 것으로 나타나, 효과적인 장기 메모리 유지가 이루어지고 있음을 시사한다.
• 표준 LSTM 기반 메모리 모델과 달리, TMN는 최근 역사가 다를 경우에도 유사한 입력 패턴에 대해 일관된 활성화를 유지하며, 단기적 노이즈에 대한 강건성을 보여준다.
• 메모리 모듈은 반복적인 사건(예: 기차 도착) 간에 구조적 유사성을 유지하는 방식으로 진화하여, 순환적이고 장기적인 의존성을 효과적으로 포착할 수 있음을 확인하였다.
• 모델의 계층적 설계는 즉각적 맥락과 역사적 맥락을 반영하는 희소하고 해석 가능한 메모리 표현을 가능하게 하여 일반화 능력을 향상시켰다.