[논문 리뷰] Multi-modal Capsule Routing for Actor and Action Video Segmentation Conditioned on Natural Language Queries

Bruce McIntosh, Kevin Duarte외 2명|arXiv (Cornell University)|2018. 12. 02.

Human Pose and Action Recognition참고 문헌 24인용 수 8

한 줄 요약

이 논문은 자연어 쿼리에 기반하여 비디오에서 액터와 행동을 픽셀 수준으로 국소화하는 엔드 투 엔드 캡슐 네트워크를 제안한다. 비디오와 텍스트를 모두 캡슐로 인코딩하고, 다중 모odal 융합을 위한 새로운 공동 EM 라우팅 메커니즘을 사용함으로써, 자연어 지도 하에 비디오 분할에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전의 단일 프레임 방법과 컨볼루션 기반 기준보다 뛰어나다.

ABSTRACT

In this paper, we propose an end-to-end capsule network for pixel level localization of actors and actions present in a video. The localization is performed based on a natural language query through which an actor and action are specified. We propose to encode both the video as well as textual input in the form of capsules, which provide more effective representation in comparison with standard convolution based features. We introduce a novel capsule based attention mechanism for fusion of video and text capsules for text selected video segmentation. The attention mechanism is performed via joint EM routing over video and text capsules for text selected actor and action localization. The existing works on actor-action localization are mainly focused on localization in a single frame instead of the full video. Different from existing works, we propose to perform the localization on all frames of the video. To validate the potential of the proposed network for actor and action localization on all the frames of a video, we extend an existing actor-action dataset (A2D) with annotations for all the frames. The experimental evaluation demonstrates the effectiveness of the proposed capsule network for text selective actor and action localization in videos, and it also improves upon the performance of the existing state-of-the art works on single frame-based localization.

연구 동기 및 목표

• 자연어 쿼리에 조건화된 엔드 투 엔드 비디오 수준의 액터 및 행동 국소화를 가능하게 하여 단일 프레임 방법을 넘어설 것.
• 표준 컨볼루션 특징 대신 캡슐을 사용하여 비디오 및 텍스트의 표현 학습을 향상시킬 것.
• 시각적 및 언어적 정보를 효과적으로 융합하기 위한 새로운 다중 모달 캡슐 라우팅 메커니즘을 개발할 것.
• 시공간적 국소화 평가를 지원하기 위해 A2D 데이터셋을 전체 비디오 애너테이션으로 확장할 것.
• 캡슐 기반 모델링이 교차 모달 비디오 거시징 작업에서 컨볼루션 접근 방식보다 엔티티 간 관계를 더 잘 포착할 수 있음을 보여줄 것.

제안 방법

• 스패티오토포럴 특징를 인코딩하기 위해 3D-CNN 기반 아키텍처를 사용해 비디오 프레임에서 캡슐을 추출한다.
• 텍스트 쿼리는 토큰화되고 트랜스포머 기반 인코더를 사용해 텍스트 캡슐로 임bedding된다.
• 비디오 캡슐과 텍스트 캡슐 간에 공동 EM 라우팅 알고리즘을 적용하여 주의 메커니즘 유사 상호작용을 학습하고 고차원의 분리된 표현을 형성한다.
• 결과로 생성된 액터 캡슐은 라우팅 기반 마스킹 메커니즘을 사용해 관련 없는 특징을 억제하고 분할 손실을 안내한다.
• 스킵 연결을 갖춘 다중 해상도 분할 헤드가 캡슐 특징을 다중 스케일에서 업샘플링하여 조밀한 이진 분할 마스크를 생성한다.
• 네트워크는 분할 손실과 분류 손실의 조합으로 훈련되며, 아블레이션 결과에 따르면 마스킹이 성능 향상에 필수적임을 확인했다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 세밀한 픽셀 수준의 국소화를 위해 다중 모달 비디오 및 텍스트 입력을 효과적으로 표현하고 융합할 수 있는가?
• RQ2 비디오 캡슐과 텍스트 캡슐 간의 공동 EM 라우팅이 기존 융합 방법(예: 연결 또는 원소별 곱셈)보다 우수한가?
• RQ3 전체 비디오 기반 엔드 투 엔드 국소화는 정확도와 시공간 일관성 측면에서 단일 프레임 기반 기준과 비교해 어떻게 성능을 내는가?
• RQ4 마스킹, 분류 손실, 다중 해상도 감독과 같은 아키텍처 구성 요소가 분할 성능에 미치는 영향은 무엇인가?
• RQ5 비디오 거시징 작업에서 캡슐 기반 표현이 컨볼루션 특징보다 객체 간 관계와 공간 계층을 더 잘 모델링할 수 있는가?

주요 결과

• 확장된 A2D 데이터셋(전체 비디오 애너테이션 포함)에서 제안된 방법은 P@0.5 52.6%, mAP 30.3%, Mean IoU 46.0%의 성능을 달성하였다.
• 아블레이션 연구 결과, 캡슐 마스킹이 필수적임을 확인하였으며, 분류 손실이 존재하더라도 이를 제거하면 성능이 크게 떨어졌다.
• 다중 모달 캡슐 라우팅 메커니즘이 모든 기준 융합 방법보다 뛰어나며, 연결(22.9% P@0.5)과 곱셈(38.4% P@0.5)을 포함한 모든 기준보다 우수했다.
• 캡슐 네트워크에서 자세 행렬 또는 활성화의 동적 필터링은 공동 EM 라우팅보다 성능이 열 劣함을 보여, EM 라우팅이 교차 모달 정렬에 더 효과적임을 시사했다.
• 스킵 연결과 다중 해상도 감독을 갖춘 네트워크가 가장 높은 성능을 보였으며, 이는 다중 스케일 감독이 국소화 정확도를 향상시킨다는 것을 보여주었다.
• 실패 사례는 주로 혼잡한 환경에서 액터 선택이 모호하거나 '공'과 같은 작은/멀리 떨어진 물체에서 발생하여 비디오 캡슐 품질의 한계를 드러냈다.