[논문 리뷰] Generative Hybrid Representations for Activity Forecasting with No-Regret Learning

Jiaqi Guan, Ye Yuan외 2명|arXiv (Cornell University)|2019. 04. 12.

Human Pose and Action Recognition참고 문헌 56인용 수 5

한 줄 요약

이 논문은 역행성 생성 모델과 Gumbel-Softmax 기법을 사용하여 이고세트릭 비디오에서 이산 동작과 연속적인 궤적을 동시에 예측하는 딥 생성 모델을 제안한다. 정확한 우도를 통해 불확실성을 모델링하고 이론적 및 실증적 검증을 통해 이론적으로도 타당한 무회귀 온라인 학습을 가능하게 하여 EPIC-KITCHENS에서 최신 기준 성능을 달성한다.

ABSTRACT

Automatically reasoning about future human behaviors is a difficult problem but has significant practical applications to assistive systems. Part of this difficulty stems from learning systems' inability to represent all kinds of behaviors. Some behaviors, such as motion, are best described with continuous representations, whereas others, such as picking up a cup, are best described with discrete representations. Furthermore, human behavior is generally not fixed: people can change their habits and routines. This suggests these systems must be able to learn and adapt continuously. In this work, we develop an efficient deep generative model to jointly forecast a person's future discrete actions and continuous motions. On a large-scale egocentric dataset, EPIC-KITCHENS, we observe our method generates high-quality and diverse samples while exhibiting better generalization than related generative models. Finally, we propose a variant to continually learn our model from streaming data, observe its practical effectiveness, and theoretically justify its learning efficiency.

연구 동기 및 목표

• 이고세트릭 비디오에서 인간 행동을 이산 동작과 연속 운동의 하이브리드로 모델링하는 과제를 해결하기 위해.
• 정확한 우도 계산을 갖춘 생성 모델을 사용하여 정확하고 다양한, 불확실성을 고려한 미래 행동 예측을 가능하게 하기 위해.
• 이론적 근거를 바탕으로 한 무회귀 온라인 보정 메커니즘을 통해 스트리밍 데이터에서의 계속 학습을 지원하기 위해.
• 행동의 변동성과 불확실성 하에서 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 연속 궤적과 이산 동작의 공동 분포를 학습하기 위해 역행성 생성 모델링을 사용하여 정확한 우도 계산을 가능하게 한다.
• 이산 동작을 연속 궤적 샘플에 조건부로 모델링하기 위해 Gumbel-Softmax 기법을 적용한다.
• 궤적과 동작 생성을 동시에 최적화하기 위해 대칭형 교차 엔트로피 손실을 사용한다.
• 스트리밍 데이터에서만 추가 선형 레이어를 보정하는 무회귀 온라인 학습 알고리즘을 도입한다.
• 후행적 모델링을 통해 평균 회귀를 계산하고 무회귀 수렴을 실증적으로 검증한다.
• 궤적 입력을 위해 ORB-SLAM을 사용하여 3차원 환경 구조를 재구성하며, 이고세트릭 비디오와 과거 위치를 컨텍스트로 활용한다.

실험 결과

연구 질문

• RQ1 생성 모델이 이고세트릭 비디오에서 이산 동작과 연속 궤적의 공동 분포를 효과적으로 모델링할 수 있는가?
• RQ2 정확한 우도 계산이 GANs나 VAEs에 비해 예측 성능 향상과 불확실성 특성화에 기여하는가?
• RQ3 다중 모odal 행동 예측에서 제안된 모델이 분류 기반 기준 모델보다 더 우수한 일반화 능력을 갖추고 있는가?
• RQ4 제안된 온라인 보정 방법이 무회귀이며, 시간이 지남에 따라 학습 효율성을 유지하는가?
• RQ5 다양한 가능성 있는 동작이 존재하는 모호한 미래 행동 상황에서 모델이 불확실성을 잘 다루는가?

주요 결과

• 제안된 모델은 EPIC-KITCHENS 데이터셋에서 이산 동작과 연속 궤적 동시 예측에서 생성 및 분류 기반 기준 모델을 모두 압도한다.
• 모델은 다양하고 고품질의 미래 샘플을 생성하며, 특히 불확실한 상황에서 상위-K 동작 예측의 리콜 성능이 뛰어나다.
• 정확한 우도 계산 능력 덕분에 역교차 엔트로피와 같은 샘플 기반 메트릭의 정밀 최적화가 가능하다.
• 무회귀 보정을 통한 온라인 학습은 테스트 데이터 성능 향상에 기여하며, 더 많은 스트리밍 데이터를 관찰할수록 성능 향상이 더 두드러진다.
• 궤적 및 동작 예측에 대한 평균 회귀 곡선이 0으로 수렴함으로써 무회귀 학습 주장의 실증적 검증이 이루어졌다.
• 시각화 결과는 예측된 궤적이 행동 분포에 의미 있는 영향을 미치며, 높은 행동 확률이 타당한 행동과 일치함을 보여준다.