[論文レビュー] Remember Intentions: Retrospective-Memory-based Trajectory Prediction

Chenxin Xu, Weibo Mao+2 more|arXiv (Cornell University)|Mar 22, 2022

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本稿では、人間の後向き記憶にインspiredされたメモリバンクを用い、過去の未来の軌道ペアを記憶し、トレーニング可能なメモリーアドレッサーを用いて意味的に類似した過去のインスタンスを検索することで意図予測を行う、インスタンスベースの軌道予測モデルであるMemoNetを提案する。本手法は、SDD、ETH-UCY、NBAデータセットにおいて、それぞれ20.3%、10.2%、28.3%のFDEの向上を達成し、推論時に解釈可能でインスタンスレベルの検索が可能な特徴を持つ。

ABSTRACT

To realize trajectory prediction, most previous methods adopt the parameter-based approach, which encodes all the seen past-future instance pairs into model parameters. However, in this way, the model parameters come from all seen instances, which means a huge amount of irrelevant seen instances might also involve in predicting the current situation, disturbing the performance. To provide a more explicit link between the current situation and the seen instances, we imitate the mechanism of retrospective memory in neuropsychology and propose MemoNet, an instance-based approach that predicts the movement intentions of agents by looking for similar scenarios in the training data. In MemoNet, we design a pair of memory banks to explicitly store representative instances in the training set, acting as prefrontal cortex in the neural system, and a trainable memory addresser to adaptively search a current situation with similar instances in the memory bank, acting like basal ganglia. During prediction, MemoNet recalls previous memory by using the memory addresser to index related instances in the memory bank. We further propose a two-step trajectory prediction system, where the first step is to leverage MemoNet to predict the destination and the second step is to fulfill the whole trajectory according to the predicted destinations. Experiments show that the proposed MemoNet improves the FDE by 20.3%/10.2%/28.3% from the previous best method on SDD/ETH-UCY/NBA datasets. Experiments also show that our MemoNet has the ability to trace back to specific instances during prediction, promoting more interpretability.

研究の動機と目的

• パrameterベースの軌道予測モデルにおける不要なトレーニングインスタンスによる解釈不能性と性能低下の問題を解消すること。
• 推論時に類似した過去のシナリオを明示的かつインスタンスレベルで検索可能とする仕組みを提供し、予測精度と解釈可能性を向上させること。
• 人間の後向き記憶を模倣するメモリ拡張アーキテクチャを構築すること、すなわち現在の状況を保存された過去の経験と結びつけること。

提案手法

• 2つのエンコーダーを用いて、互換性のある過去の記憶バンクと意図記憶バンクを、共同再構成に基づく特徴学習アーキテクチャで初期化する。
• トレーニング不要で置換に不変なメモリーフィルターを導入し、メモリバンク内の重複するインスタンスを削除することで、効率性とロバスト性を向上させる。
• 類似度スコアを計算し、現在の予測に最も関連する過去のインスタンスを検索するための学習可能なアテンションベースのメモリーアドレッサーを設計する。
• 低頻度の行動のための予測多様性を向上させるとともに、高頻度の行動に対するロバスト性を高めるために、意図クラスタリング機構を採用する。
• 2段階の軌道予測システムを構築する：まずMemoNetで目的地（意図）を予測し、次に予測された意図から完全な軌道を生成する。
• メモリーアドレッサーのトレーニングを監督するために、疑似ラベル生成を用い、最も類似したインスタンスを検索する能力が学習されるようにする。

Figure 1 : MemoNet mimics retrospective memory process. We use the memory bank to explicitly store representative instances, acting like prefrontal cortex; and the memory addresser to search similar memory instances with current situation, acting like basal ganglia.

実験結果

リサーチクエスチョン

• RQ1 明示的なメモリ検索を備えたインスタンスベースのアプローチは、パrameterベースのモデルを上回る性能を発揮できるか？
• RQ2 神経科学における後向き記憶メカニズムを、深層学習における軌道予測に効果的に模倣できるか？
• RQ3 メモリーフィルタリングとクラスタリングは、軌道予測の多様性とロバスト性をどの程度向上させるか？
• RQ4 推論時に特定の過去のインスタンスに遡ることで、モデルが解釈可能な予測を提供できるか？
• RQ5 粗い意図アンカーの数とメモリーフィルタリングのしきい値は、モデルの性能にどのように影響するか？

主な発見

• SDDデータセットでは、従来の最先端手法と比較してFDEが20.3%相対的に向上した。
• ETH-UCYデータセットでは、前回の最良手法と比較してFDEが10.2%相対的に低減した。
• NBAデータセットではFDEが28.3%相対的に向上し、ドメインを越えた強い一般化性能を示した。
• アブレーションスタディの結果、すべての構成要素—メモリバンク、フィルタリング、アドレッサー、クラスタリング—が性能向上に寄与していることが確認された。
• 1枚のRTX 3090 GPU上で55.5 FPSのリアルタイム推論が達成され、実世界への展開に適していることが示された。
• 可視化結果から、モデルが特定の意味的に関連する過去のインスタンスに遡ることができ、解釈性が向上していることが確認された。

Figure 2 : Inference phase of MemoNet. The red agent is to-be-predicted and the blue/orange agents are neighbours. According to the past feature obtained by the social encoder, we address related memory instances in the past memory bank through an attention network, producing similarity scores. The