[논문 리뷰] Learning Representations for Predicting Future Activities

Mohammadreza Zolfaghari, Özgün Çiçek외 4명|arXiv (Cornell University)|2019. 05. 09.

Human Pose and Action Recognition참고 문헌 39인용 수 7

한 줄 요약

이 논문은 다중 가설 접근 방식을 통해 동적인 환경 표현을 학습함으로써 향후 활동을 예측하는 자기지도 학습 프레임워크 PreFAct를 제안한다. 행동과 객체 예측을 분리하고, 미래 상태에 대한 자연어 캡션을 생성하며, Epic-Kitchens 및 Breakfast 데이터셋에서 뛰어난 성능을 보이며, 예측의 불확실성 추정이 잘 校정되어 있고, 행동 및 객체 간에 강건한 zero-shot 일반화 성능을 보인다.

ABSTRACT

Foreseeing the future is one of the key factors of intelligence. It involves understanding of the past and current environment as well as decent experience of its possible dynamics. In this work, we address future prediction at the abstract level of activities. We propose a network module for learning embeddings of the environment's dynamics in a self-supervised way. To take the ambiguities and high variances in the future activities into account, we use a multi-hypotheses scheme that can represent multiple futures. We demonstrate the approach by classifying future activities on the Epic-Kitchens and Breakfast datasets. Moreover, we generate captions that describe the future activities

연구 동기 및 목표

• 비라벨 영상 데이터로부터 환경 상태의 동적 표현을 학습하여 향후 활동 예측 성능을 향상시키는 것.
• 향후 활동의 비결정성 특성을 다중가설 기반의 다수의 타당한 미래를 모델링하여 다루는 것.
• 미래 예측을 행동과 객체 예측으로 분리함으로써, 알려지지 않은 행동-객체 조합 간의 일반화 성능을 향상시키는 것.
• 학습된 표현을 활용해 예측된 미래 활동을 설명하는 자연어 캡션을 생성하는 것.
• 장기적인, 모호한 미래 시나리오에서의 예측의 불확실성 캘리브레이션과 강건성 평가하기

제안 방법

• 미래 예측 모듈은 과거 및 현재 관측의 시공간 특징을 가능한 미래 활동의 표현으로 변환한다.
• 모델은 미래 예측을 행동과 객체의 별도 표현으로 분리하여, 객체 클래스 간 zero-shot 일반화를 가능하게 한다.
• 다중 가설 기반의 설계는 입력당 다수의 후보 미래 활동 예측을 생성함으로써, 미래 역학의 불확실성과 모호성을 포괄한다.
• 언어 모듈은 예측된 미래 표현에서 기술적 캡션을 생성하여 미래 상태의 자연어 기반 이해를 가능하게 한다.
• 자기지도 학습은 트림되지 않은 영상 데이터에서 시간적 대비 학습을 통해 수행되며, 지도 학습 설정에서는 행동 및 객체 레이블에만 지도 정보를 사용한다.
• 각 가설에 대한 신뢰도 점수를 통한 불확실성 추정을 통합하며, 신뢰도 다이어그램과 희소화 플롯을 통해 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습이 장기적인 역학을 효과적으로 포착하여 향후 활동 예측에 기여할 수 있는가?
• RQ2 다중 가설 접근 방식이 향후 활동의 본질적 모호성과 변동성을 얼마나 잘 모델링하는가?
• RQ3 행동과 객체 예측을 분리함으로써 zero-shot 일반화 성능이 얼마나 향상되는가?
• RQ4 모델의 불확실성 추정은 얼마나 잘 校정되어 있는가?
• RQ5 학습된 표현을 효과적으로 자연어 캡션으로 매핑할 수 있으며, 이는 진짜 향후 활동과 일치하는가?

주요 결과

• 모델은 Epic-Kitchens 및 Breakfast 데이터셋 모두에서 향후 활동 예측에 뛰어난 성능을 보이며, 다중 가설 예측으로 인해 정확도 향상이 이루어진다.
• 희소화 플롯은 높은 불확실성 예측을 제거할수록 정확도가 일관되게 향상됨을 보이며, 이는 불확실성 추정이 정보적이고 잘 校정되어 있음을 시사한다.
• 신뢰도 다이어그램은 신뢰도 점수가 실제 정확도와 일치하는 경향을 보이며, 잘 校정된 불확실성 예측을 확인한다.
• 모델은 알려지지 않은 행동-객체 조합으로도 효과적으로 일반화되며, 행동-객체 표현을 분리함으로써 강력한 zero-shot 일반화 능력을 보인다.
• 정성적 결과는 어려운 에고세트닉 환경(예: Epic-Kitchens)에서도 생성된 캡션이 진짜 향후 활동과 잘 일치함을 보여준다.
• 모델의 희소화 곡선과 오라클 곡선 사이의 격차가 상대적으로 크므로, 향후 활동 예측는 본질적으로 높은 오류율을 지닌 도전적인 과제임을 시사한다.