[논문 리뷰] Mutual Context Network for Jointly Estimating Egocentric Gaze and Actions

Yifei Huang, Zhenqiang Li외 2명|arXiv (Cornell University)|2019. 01. 07.

Human Pose and Action Recognition참고 문헌 79인용 수 11

한 줄 요약

이 논문은 양방향적 맥락을 활용하여 자가 중심 시선 추정과 동작 인식을 동시에 수행하는 상호 맥락 네트워크(MCN)를 제안한다: 동작 예측이 시선 추정을 안내하고, 시선 위치가 동작 인식을 향상시킨다. 이 방법은 학습 가능한 컨볼루션 커널을 통해 동작에 의존하는 시선 예측과 시선 유도 특징 집약을 통합하고, 시각적 주목도와의 후기 융합을 통해 공개된 자가 중심 영상 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In this work, we address two coupled tasks of gaze prediction and action recognition in egocentric videos by exploring their mutual context. Our assumption is that in the procedure of performing a manipulation task, what a person is doing determines where the person is looking at, and the gaze point reveals gaze and non-gaze regions which contain important and complementary information about the undergoing action. We propose a novel mutual context network (MCN) that jointly learns action-dependent gaze prediction and gaze-guided action recognition in an end-to-end manner. Experiments on public egocentric video datasets demonstrate that our MCN achieves state-of-the-art performance of both gaze prediction and action recognition.

연구 동기 및 목표

• 기존 방법이 자가 중심 영상에서 강한 상호의존성을 보이는 시선 추정과 동작 인식을 독립적인 과제로 간주하는 한계를 해결하기 위해.
• 특히 주목도만으로는 충분하지 않은 혼잡한 환경에서 시선 추정 정확도를 향상시키기 위해 동작 맥락을 통합함으로써.
• 관련 및 상보적인 영역에 집중함으로써 시선 유도 공간적 특징 집약을 활용해 동작 인식을 향상시키기 위해.
• 시선과 동작 간의 상호 작용 맥락을 이원적으로 모델링하여 종단 간 공동 학습을 통해 두 과제를 동시에 향상시키기 위해.
• 실패 사례를 분석하고, 특히 동작 경계에서의 주목도 전환에 대한 한계를 규명하기 위해.

제안 방법

• MCN 프레임워크는 자가 중심 영상 프레임에서 특징을 추출하기 위해 백본 네트워크를 사용한다.
• 동작 기반 시선 예측 모듈은 예측된 동작 가능성도에서 컨볼루션 커널을 생성하여 특징 맵에서 동작 관련 영역에 공간적 주목을 기울인다.
• 시선 유도 동작 인식 모듈은 예측된 시선 위치를 사용해 시선 영역과 비시선 영역에서 특징을 선택적으로 집약하여 동작 분류 성능을 향상시킨다.
• 시각적 주목도 맵은 동작 맥락화된 시선 예측과 후기 융합되어 정확성과 강건성을 향상시킨다.
• 공유된 특징 표현을 사용해 시선과 동작 과제에 대한 공동 감독을 통해 종단 간 엔드 투 엔드로 네트워크를 훈련시킨다.
• 최종 시선 예측을 위한 저수준 주목도와 고수준 동작 맥락을 조합하는 후기 융합 전략을 통합한다.

실험 결과

연구 질문

• RQ1 혼잡하거나 모호한 환경에서 동작 맥락이 자가 중심 영상의 시선 추정 성능을 향상시킬 수 있는가?
• RQ2 관련 및 상보적인 시각적 영역에 집중함으로써 시선 유도 특징 집약이 동작 인식 성능을 향상시킬 수 있는가?
• RQ3 서로 다른 맥락을 통해 시선과 동작을 공동으로 모델링할 경우, 독립적 또는 단방향 모델링보다 성능이 향상되는가?
• RQ4 동작 인식에 실패할 경우 시선 추정에 어떤 영향을 미치며, 모델은 이러한 오류 전파를 완화할 수 있는가?
• RQ5 연속된 동작 간 주목도 전환을 모델이 포착할 수 있는가, 특히 동작 완료 이전에 향후 목표로 주목도가 이동할 경우에 대해?

주요 결과

• MCN는 여러 공개된 자가 중심 영상 데이터셋에서 시선 추정과 동작 인식 양 측면에서 최신 기술 수준의 성능을 달성한다.
• EGTEA 데이터셋에서 동작 인식이 올바를 경우 AAE는 5.68, 실패할 경우 6.01을 기록하여 시선 추정에 대한 오류 전파가 제한적임을 시사한다.
• 시선 유도 동작 인식 모듈은 시선 영역과 비시선 영역에서 특징을 선택적으로 집약함으로써 동작 인식 성능을 향상시키고, 분류 능력을 강화한다.
• 동작 기반 시선 예측 모듈은 '팬을 올리기' 동작 시 팬에 집중하거나 '빵을 들기' 동작 시 빵에 집중하는 등 동작에 따라 달라지는 시선 패턴을 성공적으로 학습한다.
• 실패 사례 분석 결과, 모델은 동작 간 시선 전환, 특히 동작 완료 이전에 미래의 목표로 주목도가 이동할 경우에 어려움을 겪는다.
• 트림드 영상에서 훈련된 이전 방법과의 비교에서, 이전 방법은 AAE에서 MCN(4.83 vs. 5.74)을 앞서지만, MCN는 트림드 데이터에서 더 우수한 성능을 보이며, 제어된 시퀀스에서 동작 맥락의 이점을 입증한다.