[논문 리뷰] Egocentric Object Manipulation Graphs

Eadom Dessalene, Michael Maynord외 3명|arXiv (Cornell University)|2020. 06. 05.

Human Pose and Action Recognition참고 문헌 34인용 수 17

한 줄 요약

Ego-OMG는 그래프 기반 표현을 제안하여 이고세트릭션 액션 예측에서 의미적 시간적 구조, 단기 동적 특성, 외관 특징을 그래프 컬러리션 네트워크(GCN)와 CSN 특징을 통해 통합한다. 이는 EPIC Kitchens 행동 예측 챌린지에서 미리보지 않은 테스트 세트에서 1위, 보인 테스트 세트에서 2위를 기록하며, 손-물체 상호작용의 구조적 그래프 모델링 덕분에 장기 예측 성능이 뛰어나다.

ABSTRACT

We introduce Egocentric Object Manipulation Graphs (Ego-OMG) - a novel representation for activity modeling and anticipation of near future actions integrating three components: 1) semantic temporal structure of activities, 2) short-term dynamics, and 3) representations for appearance. Semantic temporal structure is modeled through a graph, embedded through a Graph Convolutional Network, whose states model characteristics of and relations between hands and objects. These state representations derive from all three levels of abstraction, and span segments delimited by the making and breaking of hand-object contact. Short-term dynamics are modeled in two ways: A) through 3D convolutions, and B) through anticipating the spatiotemporal end points of hand trajectories, where hands come into contact with objects. Appearance is modeled through deep spatiotemporal features produced through existing methods. We note that in Ego-OMG it is simple to swap these appearance features, and thus Ego-OMG is complementary to most existing action anticipation methods. We evaluate Ego-OMG on the EPIC Kitchens Action Anticipation Challenge. The consistency of the egocentric perspective of EPIC Kitchens allows for the utilization of the hand-centric cues upon which Ego-OMG relies. We demonstrate state-of-the-art performance, outranking all other previous published methods by large margins and ranking first on the unseen test set and second on the seen test set of the EPIC Kitchens Action Anticipation Challenge. We attribute the success of Ego-OMG to the modeling of semantic structure captured over long timespans. We evaluate the design choices made through several ablation studies. Code will be released upon acceptance

연구 동기 및 목표

• 인간-물체 상호작용의 의미적 시간적 구조를 모델링하여 이고세트릭션 비디오에서 행동 예측 성능을 향상시키기.
• 장기 예측에서 외관 전용 또는 종단 간 비디오 모델의 한계를 해결하기.
• 외관 특징를 쉽게 교체할 수 있도록 모듈러한 프레임워크를 개발하여 기존 방법과의 호환성을 높이기.
• EPIC Kitchens의 일관된 이고세트릭션 시점의 특성을 활용하여 손 중심의 단서를 모델링하여 행동 예측 성능을 향상시키기.
• 상호작용 상태의 그래프 기반 모델링이 순차적 또는 풀링 기반 특징 집합 방식보다 현저히 뛰어나다는 것을 입증하기.

제안 방법

• Ego-OMG는 손-물체 접촉 이벤트로 정의된 상태를 노드로 하는 그래프를 구축하여 시간에 따라 손과 물체 간의 의미적 관계를 포괄한다.
• 노드는 그래프 컬러리션 네트워크(GCN)를 사용하여 저차원 벡터로 임베딩되어 상호작용 역학의 구조적 모델링을 가능하게 한다.
• 단기 손 동적 특성은 3D 컨볼루션과 궤적 기반 접촉점 예측을 통해 상호작용 세그먼트를 분할한다.
• 외관 특징는 3D 컨볼루션을 사용한 컨볼루션 시아미즈 네트워크(CSN)를 통해 추출되어 시공간 운동과 외관을 포착한다.
• 장기 기억 순환 네트워크(LSTM)는 그래프 임베딩 상태의 시퀀스를 처리하여 시간적 변화를 모델링하고 장기 예측을 지원한다.
• 최종 예측 헤드는 LSTM 임베딩 상태 역사 기반으로 미래 행동을 분류하며, 성능 기여도를 검증하기 위한 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 손-물체 상호작용 그래프를 통해 의미적 시간적 구조를 모델링할 경우, 종단 간 비디오 모델 대비 장기 예측 행동 예측 성능이 어떻게 향상되는가?
• RQ2 GCN를 통한 그래프 임베딩이 행동 예측 성능에 기여하는 정도는 어떻게 되며, 단순 풀링 또는 종단 상태 분류와 비교했을 때 어떤가?
• RQ3 외관 특징(CSN)과 동적 손 궤적 모델링의 통합이 예측 정확도에 어떻게 기여하는가?
• RQ4 사전 학습된 단어 임베딩(GloVe)이 그래프 내 상호작용 상태 표현에 얼마나 기여하는가?
• RQ5 LSTM 기반 상태 역사 집합 방식이 평균 풀링 또는 종단 상태 분류와 비교했을 때 어떤가?

주요 결과

• Ego-OMG는 EPIC Kitchens 행동 예측 챌린지에서 미리보지 않은 테스트 세트에서 1위, 보인 테스트 세트에서 2위를 기록하여 이전에 발표된 모든 방법을 능가했다.
• CSN와 GCN 스트림을 함께 사용한 통합 모델이 단일 스트림만 사용한 아블레이션보다 성능이 뛰어나며, GCN만 사용했을 경우 5초 예측 수준에서 CSN를 능가했다.
• LSTM 기반 상태 역사 집합은 12.81%의 탑-1 정확도를 달성하여 평균 집합(9.74%)과 종단 상태 분류(11.70%)보다 뚜렷이 뛰어났다.
• GCN에 GloVe 임베딩을 사용한 경우 12.81%의 탑-1 정확도를 기록했으며, GCN를 제거하거나 항등 행렬을 사용한 경우 성능은 각각 6.67%와 3.62%로 떨어졌다.
• 아블레이션 스터디는 그래프 임베딩과 LSTM 기반 순차적 모델링이 장기 예측에 핵심적임을 확인하였으며, 예측 시간이 증가함에 따라 성능 저하가 점진적으로 발생함을 보였다.
• 모듈러한 설계 덕분에 외관 특징를 쉽게 교체할 수 있어 Ego-OMG는 기존 행동 예측 프레임워크와의 보완성이 뛰어나다.