[論文レビュー] Deep Learning for Vision-based Prediction: A Survey

Amir Rasouli|arXiv (Cornell University)|Jun 30, 2020

Human Pose and Action Recognition参考文献 318被引用数 20

ひとこと要約

本サーベイは2018年から2023年までの深層学習ベースのビジョンベース予測手法について包括的な概要を提供し、動画、行動、軌道、運動、その他の予測タスクに分類している。アーキテクチャ、トレーニング手法、データタイプ、評価指標、ベンチマークデータセットを分析し、標準化の課題を強調するとともに、再現性と比較のための統一されたリファレンスデータベースの構築を提案している。

ABSTRACT

Vision-based prediction algorithms have a wide range of applications including autonomous driving, surveillance, human-robot interaction, weather prediction. The objective of this paper is to provide an overview of the field in the past five years with a particular focus on deep learning approaches. For this purpose, we categorize these algorithms into video prediction, action prediction, trajectory prediction, body motion prediction, and other prediction applications. For each category, we highlight the common architectures, training methods and types of data used. In addition, we discuss the common evaluation metrics and datasets used for vision-based prediction tasks. A database of all the information presented in this survey including, cross-referenced according to papers, datasets and metrics, can be found online at https://github.com/aras62/vision-based-prediction.

研究の動機と目的

• 2018年から2023年までのビジョンベース予測における深層学習の最近の進展を体系的にレビューすること。
• ビジョンベース予測手法を5つのコアタイプに分類すること：動画予測、行動予測、軌道予測、運動（ポーズ）予測、その他の応用。
• これらのカテゴリ間で共通するアーキテクチャ、トレーニング技術、データタイプ、評価指標を分析すること。
• 評価プロトコル、指標、データセット使用に関する一貫性の欠如が、モデル間の公平な比較を妨げている点を特定すること。
• 再現性とベンチマークのため、公開されたGitHubリポジトリを通じて、論文、データセット、指標を統合した中央集権的で相互参照可能なデータベースを提供すること。

提案手法

• 本論文は、ビジョンベース予測アルゴリズムを5つの主要グループに分類する：動画予測、行動予測、軌道予測、運動（ポーズ）予測、および天気やセマンティック予測などのその他の応用。
• モデルは、主に時間的推論を担うコンponentに基づき、再帰的、順方向、ハイブリッドの3つのアーキテクチャに分類される。
• 分析には、エンドツーエンドの視覚モデルと、事前処理済み特徴（例：ポーズ、軌道）を入力とする手法が含まれ、主な視覚データと二次的特徴入力を区別する。
• 評価指標は各カテゴリごとにレビューされる：動画予測にはMSE/SSIM/PSNR、行動予測には正確度/適合率/再現率、軌道予測にはADE/FDE/NLL/KLD、運動予測にはMPJPE/PCKが使用される。
• データセットはアプリケーションドメインごとに分析され、調理行動にはEpic-KitchenとBreakfast、監視用途にはUCYとETH、運動予測にはHuman3.6Mが含まれる。
• 著者らは、すべてのサーベイ対象論文、データセット、指標を含む包括的かつ相互参照可能なデータベースを構築し、https://github.com/aras62/vision-based-prediction にホスティングしている。

実験結果

リサーチクエスチョン

• RQ1 異なるアプリケーションカテゴリにおいて、ビジョンベース予測に用いられる主要な深層学習アーキテクチャは何か？
• RQ2 動画、行動、軌道、運動予測タスクにおいて、評価指標とデータセットはどのように変化しており、どのような一貫性の欠如があるか？
• RQ3 現在のモデルは、特に動画予測において、さまざまな視覚ドメインにどの程度一般化しているか？
• RQ4 ビジョンベース予測システムにおける主な制限要因は何か。特に、隠蔽、長期的依存関係、マルチモーダルな文脈の処理においては？
• RQ5 評価プロトコル、指標、コードの公開の標準化が、この分野における再現性と公平な比較をどのように向上させ得るか？

主な発見

• 動画予測モデルはKITTI、UCF-101、MMNISTといった多様なデータセットに対して広範な一般化を示すが、データセット選定の根拠はしばしば説明されておらず、アルゴリズム的制限を反映している可能性がある。
• 行動予測モデルは、交通イベント予測のような複雑で安全が重要な状況では依然として性能が低く、マルチモーダル入力や文脈的推論が十分に活用されていない。
• 空間的位置の変化にのみ依存する軌道予測モデルは、複雑な環境では不十分であり、ポーズ、姿勢、道路構造、交通フローを統合することで予測精度が向上する。
• ポーズの変化のみに依存する運動予測モデルは、長期的または文脈依存的な行動に対しては困難を示しており、より豊かな文脈モデリングの必要性が浮き彫りになっている。
• 誤差の計算と報告方法に顕著な差異が存在する——特に軌道および運動予測においては、指標や単位（ピクセル対メートル）の不一致、詳細の欠落が原因で、モデル間の比較が困難になっている。
• 評価の標準化、オープンソースコード、共有データセットの欠如が、順方向ネットワークと再帰的ネットワーク、あるいは敵対的トレーニング方式のアーキテクチャ比較を妨げている。