[論文レビュー] Diverse Trajectory Forecasting with Determinantal Point Processes

Ye Yuan, Kris Kitani|arXiv (Cornell University)|Jul 11, 2019

Point processes and geometric inequalities参考文献 46被引用数 67

ひとこと要約

この論文は、DPPベースの多様性損失に guided な多様性サンプリング関数（DSF）を導入し、cVAE からデコードされた将来軌跡の多様性が高く、かつ高確率であるセットを生成し、多モーダル軌跡予測を改善する。

ABSTRACT

The ability to forecast a set of likely yet diverse possible future behaviors of an agent (e.g., future trajectories of a pedestrian) is essential for safety-critical perception systems (e.g., autonomous vehicles). In particular, a set of possible future behaviors generated by the system must be diverse to account for all possible outcomes in order to take necessary safety precautions. It is not sufficient to maintain a set of the most likely future outcomes because the set may only contain perturbations of a single outcome. While generative models such as variational autoencoders (VAEs) have been shown to be a powerful tool for learning a distribution over future trajectories, randomly drawn samples from the learned implicit likelihood model may not be diverse -- the likelihood model is derived from the training data distribution and the samples will concentrate around the major mode that has most data. In this work, we propose to learn a diversity sampling function (DSF) that generates a diverse and likely set of future trajectories. The DSF maps forecasting context features to a set of latent codes which can be decoded by a generative model (e.g., VAE) into a set of diverse trajectory samples. Concretely, the process of identifying the diverse set of samples is posed as a parameter estimation of the DSF. To learn the parameters of the DSF, the diversity of the trajectory samples is evaluated by a diversity loss based on a determinantal point process (DPP). Gradient descent is performed over the DSF parameters, which in turn move the latent codes of the sample set to find an optimal diverse and likely set of trajectories. Our method is a novel application of DPPs to optimize a set of items (trajectories) in continuous space. We demonstrate the diversity of the trajectories produced by our approach on both low-dimensional 2D trajectory data and high-dimensional human motion data.

研究の動機と目的

• 安全 Critical perception systems における将来軌跡セットの多様性の必要性を動機づける。
• forecasting context を潜在コード z にマッピングして diverse samples を生成する DSF を提案する。
• DPP 多様性損失を用いて DSF パラメータを勾配降下法で最適化する。
• DSF が低次元・高次元データの両方で、ベースラインよりも多様で代表的な軌跡セットを生み出すことを示す。）
• method:[
• Train a conditional VAE (cVAE) to model p(x|ψ) for future trajectories.
• Introduce DSF γ-parameterized neural network that outputs a set of latent codes z for decoding into trajectories.
• Define a DPP-based diversity loss using L = Diag(r) S Diag(r) with S as a Gaussian-style similarity over trajectories and r as a latent-space quality vector.
• Compute the diversity objective as L_diverse(γ) = -tr(I - (L(γ) + I)^{-1}) and optimize γ via gradient descent.
• At inference, generate a DSF ground set and (optionally) perform MAP inference on the DPP to choose a diverse subset.
• Use N samples (budget) from the DSF-derived latent codes and decode with the cVAE decoder to obtain Y.

提案手法

• cVAE を訓練して将来の軌跡 x の条件付き分布 p(x|ψ) をモデル化する。
• DSF γ パラメータ化ニューラルネットワークを導入し、軌跡へデコードする潜在コード z のセットを出力する。
• S を軌跡間のガウス風類似度、r を潜在空間の品質ベクトルとする Diag(r) S Diag(r) を用いた DPP ベースの多様性損失を定義する。
• 多様性目的関数を L_diverse(γ) = -tr(I - (L(γ) + I)^{-1}) として計算し、勾配降下法で γ を最適化する。
• 推論時に DSF のグラウンドセットを生成し、必要に応じて DPP 上で MAP 推論を行い多様なサブセットを選択する。
• DSF 派生の潜在コードから N 回のサンプルを用い、cVAE デコーダでデコードして Y を得る。

実験結果

リサーチクエスチョン

• RQ1 学習済みの DSF が、標準的な cVAE からのサンプリングよりも多様で代表的な将来軌跡セットを生成できるか。
• RQ2 DSF は balanced 対 imbalanced データ、低次元・高次元の軌跡予測タスクでどのように性能を発揮するか。
• RQ3 DPP ベースの多様性目的が訓練を安定化させ、多様性を向上させつつ軌跡の質を犠牲にしないか。

主な発見

• DSF は、balanced および imbalanced 設定の合成データに対する多様性指標で、ベースライン（cVAE、MCL、R2P2、cGAN）を一貫して上回る。
• 合成2Dデータ（N=10）では、DSF は Balanced/Imbalanced のそれぞれで ADE が 0.182/0.198、FDE が 0.344/0.371、ASD および FSD が高く、繰り返しが少ないことを示す。
• 人間のモーションデータでは、DSF はベースラインより ADE/FDE が小さく（例：N=10 の場合 0.259/0.421）、多様性が高い（ASD 0.115、FSD 0.282）という結果を示す。
• 大規模な Human3.6M 実験（N=10 および N=50）では、DSF の多様性と品質のトレードオフが良好で、いくつかの設定で notably higher な多様性指標を示し、ADE/FDE も競争力がある。