[논문 리뷰] Attend and Interact: Higher-Order Object Interactions for Video Understanding

Chih‐Yao Ma, Asim Kadav외 4명|arXiv (Cornell University)|2017. 11. 16.

Human Pose and Action Recognition참고 문헌 54인용 수 12

한 줄 요약

이 논문은 효율적인 주의 기반 메커니즘을 사용하여 영상에서 고차원 객체 상호작용을 모델링하는 spatiotemporal interaction network인 SINet을 제안한다. 이는 Kinetics와 ActivityNet Captions에서 행동 인식 및 영상 캡셔닝 정확도를 크게 향상시키며, 쌍방향 방법 대비 계산량을 3배 이상 감소시킨다. 또한 1 FPS 영상 샘플링만으로도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Human actions often involve complex interactions across several inter-related objects in the scene. However, existing approaches to fine-grained video understanding or visual relationship detection often rely on single object representation or pairwise object relationships. Furthermore, learning interactions across multiple objects in hundreds of frames for video is computationally infeasible and performance may suffer since a large combinatorial space has to be modeled. In this paper, we propose to efficiently learn higher-order interactions between arbitrary subgroups of objects for fine-grained video understanding. We demonstrate that modeling object interactions significantly improves accuracy for both action recognition and video captioning, while saving more than 3-times the computation over traditional pairwise relationships. The proposed method is validated on two large-scale datasets: Kinetics and ActivityNet Captions. Our SINet and SINet-Caption achieve state-of-the-art performances on both datasets even though the videos are sampled at a maximum of 1 FPS. To the best of our knowledge, this is the first work modeling object interactions on open domain large-scale video datasets, and we additionally model higher-order object interactions which improves the performance with low computational costs.

연구 동기 및 목표

• 기존 영상 이해 방법이 굵은 틀의 표현이나 쌍방향 객체 상호작용에 의존하여 실제 영상에서의 복잡한 다중 객체 관계를 포착하지 못하는 한계를 해결하기 위해.
• 장시간 영상 시퀀스에서 금방이 되는 계산 비용을 감수하지 않고도 세 개 이상의 관련 객체 간의 그룹 상호작용을 효율적으로 모델링하기 위해.
• 다양한 객체 간 공간적, 시간적, 관계적 정보를 종합적으로 고려하여 행동 인식 및 영상 캡셔닝과 같은 세밀한 영상 이해 작업의 성능을 향상시키기 위해.
• 고차원 상호작용이 정확한 예측에 핵심적인 영향을 미치는 오픈 도메인, 대규모 영상 데이터셋(Kinetics 및 ActivityNet Captions)에서 방법의 타당성을 검증하기 위해.

제안 방법

• 모델은 영상 프레임 간 객체 영역 관심영역(ROIs) 간의 동적 상호작용을 탐지하고 모델링하기 위해 도트곱 자기주목(self-attention)을 적용한 순환 모듈을 사용한다.
• 이중 스트림 특징 처리 파이프라인을 활용한다: 하나는 이미지 수준의 특징(예: C3D 또는 ResNeXt)을 위한 것이고, 다른 하나는 객체 수준의 특징(예: Faster R-CNN)을 위한 것이다. 둘 다 배치 정규화와 ReLU를 적용한 완전 연결층을 통해 투영된다.
• 핵심 구성 요소는 객체 특징에 대해 다중 헤드 자기주목을 적용하여 상호작용 가중치를 계산하고, LSTM 셀을 사용해 은닉 상태를 갱신하는 순환 고차원 상호작용(RHOI) 모듈이다.
• 이미지 특징과 객체 특징 간의 공액 주목(co-attention)을 통합하여 교차 모odal 추론을 향상시켜 캡셔닝 및 인식에서 맥락 인식 능력을 강화한다.
• 효율성 최적화를 위해 설계되었으며, K=2개의 주목 헤드를 사용할 경우, 영상당 FLOPs를 약 18.3e9(쌍방향 방법)에서 약 5.3e9로 감소시켜 3배 이상의 속도 향상을 달성한다.
• 모델은 Kinetics(행동 인식) 및 ActivityNet Captions(영상 캡셔닝)에서 평가되었으며, 사전 훈련된 모델에서 특징을 추출한 1 FPS 샘플링된 프레임만을 사용하였다.

실험 결과

연구 질문

• RQ1 쌍방향 관계를 넘어서 고차원 객체 상호작용을 모델링하면 행동 인식 및 영상 캡셔닝과 같은 세밀한 영상 이해 작업의 성능 향상에 기여할 수 있는가?
• RQ2 수백 개의 영상 프레임에 걸쳐 고차원 상호작용을 모델링하는 것은 모델 용량이나 정확도를 희생시키지 않고도 계산적으로 가능할 수 있는가?
• RQ3 제안된 주의 기반 상호작용 모듈은 전통적인 쌍방향 관계 모델링 대비 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ4 고차원 상호작용은 '산악 등반'과 '암벽 등반'처럼 유사한 행동 클래스를 해소하는 데 어느 정도 기여하는가?
• RQ5 고주기 입력이 필요 없이도 오픈 도메인, 대규모 영상 데이터셋에 일반화 가능한가?

주요 결과

• SINet은 1 FPS 영상 샘플링만으로도 Kinetics 데이터셋에서 행동 인식 작업에서 최신 기술 수준(SOTA) 성능을 달성했으며, 이는 더 높은 프레임 레이트를 요구하는 이전 방법들을 능가한다.
• ActivityNet Captions 데이터셋에서 SINet-Caption는 1st 검증 세트에서 CIDEr-D 점수 44.14점, 2nd 검증 세트에서 45.54점의 SOTA 성능을 기록했으며, 입력으로 1 FPS만 사용하였다.
• 기존의 쌍방향 상호작용 모델링 대비 FLOPs를 3배 이상 감소시켜 영상당 약 18.3e9에서 약 5.3e9로 줄였으며, 정확도는 향상시켰다.
• 제거 분석 결과, 이미지 특징과 객체 특징을 공액 주목을 통해 융합한 경우(SINet-Caption — img + obj)가 단일 모odal 기반 보다 가장 뛰어난 성능을 보였다.
• 모델은 '캠핑 파이어 위의 bowel에서 계란 부수는 손', '워크보드에 올라서는 사람'과 같은 복잡한 다중 객체 상호작용을 성공적으로 포착하여 공간적·시간적 관계에 대한 개선된 추론 능력을 보였다.
• 여러 명의 사람이 여러头 당나귀에 타고 있는 어려운 케이스에서는 모든 인스턴스를 감지하지 못하는 경우가 있었으며, 이는 세밀한 수세기에서의 한계를 보여주지만, 핵심 상호작용은 정확히 식별했다.