[논문 리뷰] Where to Play: Retrieval of Video Segments using Natural-Language Queries

Sangkuk Lee, Daesik Kim외 3명|arXiv (Cornell University)|2017. 07. 02.

Multimodal Machine Learning Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 영상 프레임에서 자연어 설명을 생성하기 위해 DenseCap 모델을 사용하는 새로운 영상 검색 방법을 제안한다. 이후 이어진 프레임들 사이에서 의미적으로 유사한 설명을 추적하여 쿼리와 일치하는 영상 세그먼트를 특정한다. 이 방법은 '캡션 추적(Tracking by Captioning)'으로 불리며, 신경망 기반 자연어 생성을 활용해 의미적 쿼리를 구성함으로써 기존의 개념 기반 방법보다 우수한 성능을 보이며, 새로운 트레일러 기반 데이터셋에서 65.4%의 mAP를 달성한다.

ABSTRACT

In this paper, we propose a new approach for retrieval of video segments using natural language queries. Unlike most previous approaches such as concept-based methods or rule-based structured models, the proposed method uses image captioning model to construct sentential queries for visual information. In detail, our approach exploits multiple captions generated by visual features in each image with `Densecap'. Then, the similarities between captions of adjacent images are calculated, which is used to track semantically similar captions over multiple frames. Besides introducing this novel idea of 'tracking by captioning', the proposed method is one of the first approaches that uses a language generation model learned by neural networks to construct semantic query describing the relations and properties of visual information. To evaluate the effectiveness of our approach, we have created a new evaluation dataset, which contains about 348 segments of scenes in 20 movie-trailers. Through quantitative and qualitative evaluation, we show that our method is effective for retrieval of video segments using natural language queries.

연구 동기 및 목표

• 기존의 개념 또는 객체 기반 방법으로는 어려운 자연어 쿼리를 사용한 특정 영상 세그먼트 검색 문제를 해결하기 위해.
• 신경망 기반 자연어 생성 모델이 영상 콘텐츠의 관계와 특성을 포괄하는 의미적 쿼리를 효과적으로 구성할 수 있는지 탐색하기 위해.
• 객체나 개념 추적 대신 캡션 유사도를 기반으로 프레임 간 의미적 일관성을 추적하는 새로운 영상 검색 방법을 개발하기 위해.
• 20개의 영화 트레일러에서 유래한 348개의 영상 세그먼트로 구성된 새로운 데이터셋을 활용해 실제적이고 다양한 쿼리 시나리오를 보장하기 위해.

제안 방법

• 이 방법은 각 프레임마다 밀도 높은 영역에서 다양한 시각적 기술을 포괄하는 다수의 캡션을 생성하기 위해 DenseCap를 사용한다.
• 이전 프레임과의 캡션 간 의미적 유사도를 사전 학습된 스킵-소리 텡터(Pre-trained Skip-Thought Vectors)를 사용해 계산함으로써 시간에 따라 의미적으로 일관된 시각적 콘텐츠를 식별한다.
• 연속된 프레임들 사이에서 높은 의미적 유사도를 보이는 캡션을 연결함으로써 '캡션 추적'을 수행하고, 연속적인 시공간 트랙을 형성한다.
• 결과적으로 생성된 트랙은 입력된 자연어 쿼리와 일치하는 후보 영상 세그먼트를 나타내며, 국소화 정보는 DenseCap에서 제공하는 바운딩 박스를 통해 제공된다.
• 이 방법은 문장 임베딩을 위해 스킵-소리 텐서를 활용하고, 캡션 간 의미적 관련성을 측정하기 위해 코사인 유사도를 사용한다.
• 캡션 생성, 캡션 유사도 계산, 트랙 형성의 파이프라인 아키텍처를 통합하여 엔드 투 엔드 영상 세그먼트 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DenseCap와 같은 신경망 기반 자연어 생성 모델이 영상 특징에서 의미적 쿼리를 효과적으로 생성할 수 있는가?
• RQ2 캡션 유사도 기반 추적 방식이 자연어 쿼리 기반 영상 세그먼트 검색에서 기존의 객체 또는 개념 기반 추적보다 우수한가?
• RQ3 캡션 간 의미적 유사도가 문법적 또는 구조적 파싱에 의존하지 않고도 복잡한 시각적 관계나 행동(예: '날고 있다' vs. '가로등에 앉아 있다')를 포착할 수 있는가?
• RQ4 문장 임베딩 모델의 선택(예: 스킵-소리 vs. 워드2벡)이 mAP 및 리콜 측면에서 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 스킵-소리 텐서를 사용할 경우 65.4%의 평균 평균 정확도(mAP)를 달성하였으며, 이는 워드2벡(54.9% mAP)보다 유의미하게 높아 맥락 기반 문장 임베딩의 우수성을 입증한다.
• 리콜이 ≥0.5로 제약된 조건에서 스킵-소리 텐서의 mAP는 32.3%에 달했고, 워드2벡의 경우 25.9%였으며, 이는 높은 정밀도에서의 더 뛰어난 내구성을 확인한다.
• 스킵-소리 임베딩 간 코사인 유사도가 낮은(0.68) 점수를 기록함으로써, 동일한 단어를 사용하나 의미적으로 다른 문장인 '사람이 말을 탔다'와 '말이 사람을 탔다'를 효과적으로 구분할 수 있었다.
• 시스템은 바운딩 박자를 통해 관련 영상 세그먼트를 국소화하였으며, 이는 캡션 추적 방식이 공간적 맥락을 유지하고 시각적 콘텐츠의 정확한 국소화를 가능하게 함을 보여준다.
• 정성적 결과를 통해 동일한 객체의 서로 다른 시각적 상태, 예를 들어 '새가 날고 있다'와 '가지에 앉아 있는 새'를 별개의 관련 세그먼트로 효과적으로 검색할 수 있었다.
• 정답 세그먼트당 여러 개의 후보 트랙을 생성함으로써, 보조 영상 데모에서 관찰된 바와 같이 쿼리의 의미적 다양성에 대한 강력한 일반화 능력과 민감도를 입증하였다.