[논문 리뷰] Predicting Human Interaction via Relative Attention Model

Yichao Yan, Bingbing Ni외 1명|arXiv (Cornell University)|2017. 05. 26.

Human Pose and Action Recognition참고 문헌 15인용 수 5

한 줄 요약

이 논문은 공유된 순환 구조와 주목법을 사용하여 두 상호작용 주체 간의 상호 영향을 모델링하는 삼중 결합 상대 주목망을 제안한다. 전역 상호작용 맥락을 통합하고 주목법을 통해 핵심 신체 부위에 집중함으로써, 모델은 상태의 기준 정확도를 달성하며, 부분 관찰 비율 50%에서도 비록 가림과 복잡한 배경이 존재하더라도 BIT 데이터셋에서 90%를 초과하는 정확도를 기록한다.

ABSTRACT

Predicting human interaction is challenging as the on-going activity has to be inferred based on a partially observed video. Essentially, a good algorithm should effectively model the mutual influence between the two interacting subjects. Also, only a small region in the scene is discriminative for identifying the on-going interaction. In this work, we propose a relative attention model to explicitly address these difficulties. Built on a tri-coupled deep recurrent structure representing both interacting subjects and global interaction status, the proposed network collects spatio-temporal information from each subject, rectified with global interaction information, yielding effective interaction representation. Moreover, the proposed network also unifies an attention module to assign higher importance to the regions which are relevant to the on-going action. Extensive experiments have been conducted on two public datasets, and the results demonstrate that the proposed relative attention network successfully predicts informative regions between interacting subjects, which in turn yields superior human interaction prediction accuracy.

연구 동기 및 목표

• 부분 관찰된 영상에서 인간 상호작용을 예측하는 과제를 해결하기 위해 상호작용 주체 간의 상호 영향을 모델링한다.
• 상호작용 예측에 관련된 가장 분류 가능한 시공간 영역—특히 동적인 신체 부위—를 식별하고 집중한다.
• 전체, 개별 또는 부위 기반 특징 방법의 한계를 극복하기 위해 국소 주목법과 전역 상호작용 모델링을 통합한다.
• 학습된 주목법을 통해 운동 관련 영역에 중점을 두어, 가림과 배경 혼잡함에 대한 강건성을 향상시킨다.

제안 방법

• 세 개의 스트림(각 주체에 대해 하나씩, 그리고 둘 다를 둘러싼 전역 상호작용 영역에 대해 하나)을 갖는 삼중 결합 딥 순환 네트워크를 사용한다.
• 각 시간 단계에서 세 스트림의 은닉 상태가 집계되어 상호작용 상태를 갱신함으로써 상호 영향 모델링이 가능해진다.
• 현재 행동과 이전 은닉 상태를 바탕으로 정보성 영역을 동적으로 선택하는 상대 주목 모듈을 통합한다.
• 주목 모듈은 입력 특징에서 관련 있는 신체 부위(예: 팔, 다리)에만 집중할 수 있도록 공간 가중치를 출력함으로써 표현 품질을 향상시킨다.
• 운동 민감도를 향상시키기 위해 광학 흐름 입력을 활용하며, 주목법을 흐름 특징에 적용하여 핵심 운동 패턴을 탐지한다.
• 삼중 결합 네트워크에서의 주목 및 융합된 표현을 기반으로 분류 헤드를 사용하여 최종 예측을 수행한다.

실험 결과

연구 질문

• RQ1 영상 기반 행동 예측 프레임워크에서 두 상호작용 주체 간의 상호 영향을 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 전체 프레임 특징 대신 분류 가능한 국소 운동 영역(예: 사지)에 집중하는 것이 상호작용 예측에 미치는 영향은 무엇인가?
• RQ3 전체 또는 개별 특징 학습 대비 상대 주목법이 부분 관찰 및 가림 조건에서 성능 향상에 기여하는가?
• RQ4 다중 주체 환경에서 전역 상호작용 맥락의 통합이 국소 행동 표현을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 부분 관찰 비율 50%에서도 BIT 데이터셋에서 90% 이상의 예측 정확도를 달성하며, 모든 관찰 비율에서 기존 최상위 기법보다 10% 이상 높은 성능을 기록한다.
• 상대 주목법을 갖춘 삼중 결합 네트워크는 기준 모델 대비 성능 향상이 뚜렷하며, 특히 높은 관찰 비율에서 성능 향상이 두드러져 공동 모델링과 주목법의 효과를 입증한다.
• RGB 프레임보다 광학 흐름 입력이 훨씬 더 높은 성능을 기록함으로써, 상호작용 예측에서 운동 신호의 중요성을 강조한다.
• 정성적 결과에서는 주목 모듈이 항상 행동 관련 신체 부위—예를 들어 펼쳐진 팔이나 다리—에 지속적으로 집중하는 것으로 나타나 인간의 인지와 잘 일치함을 보여준다.
• 가벼운 가림과 복잡한 배경 조건에서도 강건성을 유지함을 입증하며, 도전적인 BIT 데이터셋에서 뛰어난 성능을 기록한다.
• 제거 분석 결과, 상대 주목 모듈이 삼중 결합 아키텍처 자체보다도 핵심적인 성능 향상 기여를 한다고 확인된다.