[논문 리뷰] Localizing Unseen Activities in Video via Image Query

Zhu Zhang, Zhou Zhao외 3명|arXiv (Cornell University)|2019. 06. 28.

Human Pose and Action Recognition참고 문헌 22인용 수 7

한 줄 요약

이 논문은 이미지 쿼리를 사용하여 트림되지 않은 비디오에서 미리 정의되지 않은 활동을 국소화하는 데 목적이 있는 새로운 작업인 이미지 기반 활동 국소화를 제안한다. 자기주의 상호작용 국소화기(SAIL)를 도입하여 세분화된 이미지 표현을 위해 영역 자기주의를 사용하고, 이미지 및 비디오 특징의 다중 수준 융합을 위해 국소 트랜스포머 인코더를 활용하며, 정확한 경계 예측을 위해 순서 민감한 국소화기를 설계하였다. 이는 새로 구축된 ActivityIBAL 데이터셋에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Action localization in untrimmed videos is an important topic in the field of video understanding. However, existing action localization methods are restricted to a pre-defined set of actions and cannot localize unseen activities. Thus, we consider a new task to localize unseen activities in videos via image queries, named Image-Based Activity Localization. This task faces three inherent challenges: (1) how to eliminate the influence of semantically inessential contents in image queries; (2) how to deal with the fuzzy localization of inaccurate image queries; (3) how to determine the precise boundaries of target segments. We then propose a novel self-attention interaction localizer to retrieve unseen activities in an end-to-end fashion. Specifically, we first devise a region self-attention method with relative position encoding to learn fine-grained image region representations. Then, we employ a local transformer encoder to build multi-step fusion and reasoning of image and video contents. We next adopt an order-sensitive localizer to directly retrieve the target segment. Furthermore, we construct a new dataset ActivityIBAL by reorganizing the ActivityNet dataset. The extensive experiments show the effectiveness of our method.

연구 동기 및 목표

• 기존의 행동 국소화 방법이 사전 정의된 행동 집합에 국한되어 있다는 한계를 해결하기 위해.
• 오직 이미지 쿼리만을 참조로 하여 트림되지 않은 비디오에서 미리 보지 않은 활동을 국소화할 수 있도록 하기 위해.
• 이미지 쿼리에 포함된 관련 없는 콘텐츠, 모호한 쿼리 의미, 정확하지 않은 세그먼트 경계와 같은 과제를 극복하기 위해.
• 이미지 쿼리와 비디오 세그먼트 간의 시각적 의미를 효과적으로 정렬하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 이미지 기반 활동 국소화 연구를 지원하기 위해 새로운 벤치마크 데이터셋인 ActivityIBAL을 구축하기 위해.

제안 방법

• Faster R-CNN 특징에서 세분화된 이미지 영역 표현을 학습하기 위해 상대적 위치 인코딩을 갖춘 영역 자기주의 메커니즘을 제안한다.
• 장거리 의존성을 모델링하고 이미지 및 비디오 특징의 다단계 융합을 가능하게 하기 위해 다중 헤드 국소 자기주의를 갖춘 국소 트랜스포머 인코더를 활용한다.
• 정확한 시작 및 종료 경계 예측을 위해 전방 및 후방 컨텍스트를 통합하기 위해 순서 민감한 국소화기에서 이중 방향 집합 기법을 도입한다.
• 관련 없는 시각적 콘텐츠를 억제하기 위해 프레임 수준의 어텐션을 사용하여 관련 있는 이미지 영역에 집중한다.
• 이미지 쿼리와 비디오 활동 간의 정밀한 및 흐린 의미 매칭을 처리하기 위해 다중 수준 상호작용 전략을 적용한다.
• ActivityNet을 재구성하여 서로 다른 행동 클래스를 가진 훈련, 검증, 테스트 세트로 나누어 제로샷 일반화를 보장하는 ActivityIBAL 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 이미지 쿼리는 트림되지 않은 비디오에서 미리 보지 않은 활동의 국소화를 효과적으로 이끌 수 있는가?
• RQ2 국소화 과정에서 이미지 쿼리의 의미적으로 불필요한 콘텐츠를 모델이 어떻게 견딜 수 있는가?
• RQ3 모호하거나 정확하지 않은 쿼리 조건 하에서 다중 수준 특징 융합은 국소화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 과거 및 미래 프레임의 컨텍스트 정보를 통합하면 경계 예측 정확도가 어떻게 향상되는가?
• RQ5 이미지 쿼리를 사용한 엔드 투 엔드 미리 보지 않은 활동 국소화에 최적의 아키텍처 설계는 무엇인가?

주요 결과

• 제안된 SAIL 모델은 ActivityIBAL 테스트 세트에서 49.66%의 최고 mIoU를 기록하여 모든 베이스라인을 초월한다.
• 제거 실험에서 영역 자기주의가 필수적임을 확인하였으며, 이를 제거할 경우 mIoU가 46.63%로 떨어진다.
• 다중 수준 상호작용(SAIL w/o. ML)은 IoU@0.5 및 IoU@0.7에서 더 큰 성능 저하를 보이며, 정확한 경계 국소화에 있어 그 중요성을 입증한다.
• 국소 자기주의 및 이중 방향 집합 구성 요소는 모호한 쿼리 처리에 가장 효과적이며, 어려운 샘플에서의 성능 저하를 줄인다.
• 최적의 국소 트랜스포머 인코더 깊이는 다섯 층이며, 더 적거나 더 많은 층 수에서는 성능이 저하된다.
• 모델은 어려운 샘플에서도 강력한 내성성을 보이며, IoU@0.7에서 24.37%를 유지하여 다른 방법들보다 뚜렷하게 뛰어난 성능을 보인다.