[논문 리뷰] Deep Learning for Vision-based Prediction: A Survey

Amir Rasouli|arXiv (Cornell University)|2020. 06. 30.

Human Pose and Action Recognition참고 문헌 318인용 수 20

한 줄 요약

이 종합 검토는 2018년에서 2023년 사이의 딥러닝 기반 시각 기반 예측 방법에 대한 포괄적인 개요를 제공하며, 영상, 행동, 궤적, 운동 및 기타 예측 작업으로 분류한다. 아키텍처, 학습 방법, 데이터 유형, 평가 지표 및 벤치마크 데이터셋을 분석하며, 표준화의 과제를 부각하고 재현 가능성과 비교를 위한 통합된 기준 데이터베이스를 제안한다.

ABSTRACT

Vision-based prediction algorithms have a wide range of applications including autonomous driving, surveillance, human-robot interaction, weather prediction. The objective of this paper is to provide an overview of the field in the past five years with a particular focus on deep learning approaches. For this purpose, we categorize these algorithms into video prediction, action prediction, trajectory prediction, body motion prediction, and other prediction applications. For each category, we highlight the common architectures, training methods and types of data used. In addition, we discuss the common evaluation metrics and datasets used for vision-based prediction tasks. A database of all the information presented in this survey including, cross-referenced according to papers, datasets and metrics, can be found online at https://github.com/aras62/vision-based-prediction.

연구 동기 및 목표

• 2018년에서 2023년 사이의 시각 기반 예측을 위한 딥러닝 최신 기술을 체계적으로 검토하기 위해.
• 시각 기반 예측 방법을 영상 예측, 행동 예측, 궤적 예측, 운동(자세) 예측 및 기타 응용 분야로 다섯 가지 핵심 유형으로 분류하기 위해.
• 이러한 유형 간 공통 아키텍처, 학습 기법, 데이터 유형 및 평가 지표를 분석하기 위해.
• 모델 간 공정한 비교를 방해하는 평가 프로토콜, 지표 및 데이터셋 사용의 일관성 없는 점을 식별하기 위해.
• 재현 가능성과 벤치마킹을 위해 공개된 GitHub 리포지토리에서 논문, 데이터셋 및 지표를 통합하고 상호 참조 가능한 데이터베이스를 제공하기 위해.

제안 방법

• 논문은 시각 기반 예측 알고리즘을 다섯 가지 주요 그룹으로 분류한다: 영상 예측, 행동 예측, 궤적 예측, 운동(자세) 예측, 기타 응용 분야(예: 기상 또는 의미적 예측).
• 모델은 핵심 추론 아키텍처 기반으로 분류되며, 순환형, 피드포워드형 또는 하이브리드형으로 나뉘며, 시간적 추론을 담당하는 구성 요소에 중점을 둔다.
• 종합적인 시각 모델과 사전 처리된 특징(예: 자세, 궤적)을 입력으로 사용하는 방법을 모두 분석하며, 주요 시각 데이터와 보조적 특징 입력 간의 차이를 명확히 한다.
• 각 카테고리별 평가 지표를 검토한다: 영상 예측에는 MSE/SSIM/PSNR, 행동 예측에는 정확도/정밀도/재현율, 궤적 예측에는 ADE/FDE/NLL/KLD, 운동 예측에는 MPJPE/PCK를 사용한다.
• 응용 분야별로 데이터셋을 분석한다: 요리 행동 예측에는 Epic-Kitchen과 Breakfast, 감시용으로는 UCY와 ETH, 운동 예측에는 Human3.6M 데이터셋을 사용한다.
• 저자들은 모든 검토된 연구를 포함하는 포괄적이고 상호 참조 가능한 데이터베이스를 구축하였으며, 이는 https://github.com/aras62/vision-based-prediction 에 공개되어 있다.

실험 결과

연구 질문

• RQ1 다양한 응용 분야에서 시각 기반 예측에 사용되는 주요 딥러닝 아키텍처는 무엇인가?
• RQ2 영상, 행동, 궤적, 운동 예측 작업 간 평가 지표와 데이터셋은 어떻게 다름과 일관성 없는 점이 있는가?
• RQ3 현재 모델들이 다양한 시각적 도메인, 특히 영상 예측에서 얼마나 일반화되는가?
• RQ4 현재 시각 기반 예측 시스템의 주요 제한 사항은 무엇인가, 특히 가림, 장기적 의존성 및 다중 모odal 맥락을 다룰 때의 문제점은 무엇인가?
• RQ5 평가 프로토콜, 지표 및 코드 공개의 표준화가 이 분야의 재현 가능성과 공정한 비교를 어떻게 향상시킬 수 있는가?

주요 결과

• 영상 예측 모델은 KITTI, UCF-101, MMNIST와 같은 다양한 데이터셋에서 광범위한 일반화를 보이지만, 데이터셋 선택의 근거는 종종 설명되지 않으며 알고리즘적 한계를 반영할 수 있다.
• 행동 예측 모델은 다중 모달 입력과 맥락적 추론이 충분히 활용되지 않는 복잡한 안전 중심 시나리오(예: 교통 사고 예측)에서 여전히 성능이 열등하다.
• 공간적 위치 변화에만 의존하는 궤적 예측 모델은 복잡한 환경에서는 부적절하며, 자세, 방향, 도로 구조 및 교통 흐름을 통합하면 예측 정확도가 향상된다.
• 오직 자세 변화만을 사용하는 운동 예측 모델은 장기적 또는 맥락 의존적 행동 예측에서 어려움을 겪으며, 더 풍부한 맥락 모델링이 필요하다는 것을 시사한다.
• 오차 계산 및 보고 방식에 중대한 격차가 존재한다 — 특히 궤적 및 운동 예측에서 — 지표, 단위(픽셀 대 미터)의 일관성 없는 사용 및 세부 정보 누락으로 인해 모델 간 비교가 어려워진다.
• 평가의 표준화, 오픈 소스 코드, 공유 데이터셋의 부재로 인해 피드포워드 대 비순환 네트워크 또는 적대적 훈련 기법 간의 체계적 비교가 어렵다.