[논문 리뷰] To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression

Yitian Yuan, Tao Mei외 1명|arXiv (Cornell University)|2018. 04. 19.

Multimodal Machine Learning Applications참고 문헌 26인용 수 27

한 줄 요약

이 논문은 비정형 영상에서 시간적 문장 국지화를 위한 엔드 투 엔드 주의 기반 위치 회귀(ABLR) 모델을 제안한다. 이 모델은 이중 방향 LSTM와 다중 모odal 공주의 기반으로 전역 영상 컨텍스트를 유지하고 문장에 특화된 신호를 강조하여 정확하고 효율적인 시간 경계 회귀를 가능하게 한다. ABLR는 ActivityNet Captions에서 최고의 경쟁자 대비 43.4% 상대적 향상도를 달성하였으며, 이전 방법 대비 15배 빠른 추론 속도를 확보하였다.

ABSTRACT

Given an untrimmed video and a sentence description, temporal sentence localization aims to automatically determine the start and end points of the described sentence within the video. The problem is challenging as it needs the understanding of both video and sentence. Existing research predominantly employs a costly "scan and localize" framework, neglecting the global video context and the specific details within sentences which play as critical issues for this problem. In this paper, we propose a novel Attention Based Location Regression (ABLR) approach to solve the temporal sentence localization from a global perspective. Specifically, to preserve the context information, ABLR first encodes both video and sentence via Bidirectional LSTM networks. Then, a multi-modal co-attention mechanism is introduced to generate not only video attention which reflects the global video structure, but also sentence attention which highlights the crucial details for temporal localization. Finally, a novel attention based location regression network is designed to predict the temporal coordinates of sentence query from the previous attention. ABLR is jointly trained in an end-to-end manner. Comprehensive experiments on ActivityNet Captions and TACoS datasets demonstrate both the effectiveness and the efficiency of the proposed ABLR approach.

연구 동기 및 목표

• 슬라이딩 윈도우 샘플링에 의존하지 않고 직접 시간 경계를 예측함으로써 비정형 영상 내 자연어 문장을 국지화하는 과제를 해결하기 위해.
• 국지화 과정 중 전체 시퀀스에 걸쳐 전역 시간적 구조를 유지하기 위해.
• 다중 모달 공주의 기반으로 문장 쿼리의 의미적으로 중요한 구절에 초점을 맞춤으로써 국지화 정확도를 향상시키기 위해.
• 밀도 있는 클립 샘플링을 피하고 단일 패assing 영상 인코딩을 가능하게 하여 계산 효율성을 향상시키기 위해.

제안 방법

• 이중 방향 LSTM를 사용하여 영상 클립 특징과 문장 단어 시퀀스를 모두 인코딩하여 전방 및 후방 컨텍스트 정보를 캡처한다.
• 다중 모달 공주의 기반으로 교차 모odal 상호작용을 모델링함으로써 영상 주의(전역 구조 반영)와 문장 주의(핵심 어구 강조)를 생성한다.
• 영상 주의는 문장 쿼리와 영상 세그먼트 간의 정렬을 통해 유도되며, 전역 시간적 의존성을 인코딩한다.
• 문장 주의는 정밀한 국지화를 이끄는 의미적으로 관련성이 높은 단어나 어구를 강조한다.
• 주의 기반 위치 예측 네트워크는 공주의 특징에서 직접 시작 및 종료 타임스탬프를 회귀함으로써 후처리 단계를 생략한다.
• 모델 전체가 엔드 투 엔드로 훈련되어 특징 인코딩, 주의 학습, 경계 회귀를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 밀도 있는 클립 처리에 의존하지 않고, 분할된 클립 처리를 피하는 엔드 투 엔드 모델이 기존의 '스캔 및 국지화' 접근 방식을 능가할 수 있는가?
• RQ2 다중 모달 공주의 기반으로 문장에 특화된 신호에 집중하면서도 영상의 전역 컨텍스트를 얼마나 효과적으로 유지할 수 있는가?
• RQ3 특징 매칭 기반 기준 대비 주의 기반 회귀가 국지화 정확도에 얼마나 기여하는가?
• RQ4 긴 비정형 영상에 적용했을 때 제안된 방법의 효율성은 어떻게 스케일링되는가?
• RQ5 ABLR은 왜 ActivityNet Captions에서는 성능이 좋지만 TACoS에서는 높은 IoU 임계값에서 성능이 떨어지는가?

주요 결과

• ABLR는 IoU=0.5에서 ActivityNet Captions 데이터셋에서 최고의 베이스라인(AACN) 대비 평균 평균 정밀도에서 43.4% 상대적 향상도를 달성하였다.
• TACoS에서는 IoU 임계값이 낮은 경우(0.3 및 0.4) ACRN을 능가했지만, IoU=0.5에서는 유사한 장면 영상에서 주의 분포가 평탄해지면서 성능이 열 劣화되었다.
• ABLR full-aw 변형(주의 가중치 기반 회귀)은 ActivityNet Captions에서 더 우수한 성능을 보였고, ABLR full-af 변형(특징 기반 회귀)은 TACoS에서 더 뛰어난 성능을 보였으며, 이는 모호한 장면에서 입력의 구분 능력의 중요성을 시사한다.
• ABLR는 ActivityNet Captions에서 문장당 평균 추론 시간을 0.02초로 줄였고, TACoS에서는 0.15초로 유지하여 ACRN 대비 15배 빠르게 하고, MCN 및 CTRL 대비 4–15배 빠른 성능을 달성하였다.
• 모델의 효율성은 매번 영상을 두 번만 처리함으로써 유도되며, 밀도 있는 클립 샘플링으로 인한 중복 계산을 피한다.
• 제거 실험 결과, 영상 및 문장 공주의 기반 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 저하됨을 확인하였다.