[논문 리뷰] Dense Video Captioning Using Unsupervised Semantic Information

Valter Estevam, Rayson Laroca외 2명|arXiv (Cornell University)|2021. 12. 15.

Video Analysis and Summarization인용 수 9

한 줄 요약

이 논문은 클러스터링된 시각적 특징의 공존 패턴을 사용하여 짧은 비디오 클립 간의 의미적 유사성을 학습하는 비지도 시각 기반 기술을 제안한다. 이 기술은 오직 시각적 특징만을 사용하여 현재까지 가장 뛰어난 밀도 높은 비디오 캡셔닝 성능를 달성하며, 일부 설정에서는 다중 모odal 방법을 능가한다. 이 방법은 기존 모델의 음성 신호를 대체하고, 자기지도 시각 코드북 학습을 통해 시기적 제안 생성과 캡처링 정확도를 향상시킨다.

ABSTRACT

We introduce a method to learn unsupervised semantic visual information based on the premise that complex events can be decomposed into simpler events and that these simple events are shared across several complex events. We first employ a clustering method to group representations producing a visual codebook. Then, we learn a dense representation by encoding the co-occurrence probability matrix for the codebook entries. This representation leverages the performance of the dense video captioning task in a scenario with only visual features. For example, we replace the audio signal in the BMT method and produce temporal proposals with comparable performance. Furthermore, we concatenate the visual representation with our descriptor in a vanilla transformer method to achieve state-of-the-art performance in the captioning subtask compared to the methods that explore only visual features, as well as a competitive performance with multi-modal methods. Our code is available at https://github.com/valterlej/dvcusi.

연구 동기 및 목표

• 인간의 주석 없이 비디오 클립 간의 의미적 유사성을 포착하는 비지도 시각 기반 기술을 개발한다.
• 음성 신호를 학습된 시각적 의미 표현으로 대체하여 밀도 높은 비디오 캡처링 성능을 향상시킨다.
• 특히 학습된 제안 설정에서 오직 시각적 특징만을 사용하여 밀도 높은 비디오 캡처링에서 최고의 성능를 달성한다.
• 시각 코드북 항목의 공존 패턴이 장거리 시각적 의미를 효과적으로 모델링할 수 있음을 보여준다.

제안 방법

• 장시간 비디오에서 최대 2.56초 이내의 짧은 비디오 클립을 추출하고, 3D ConvNets(i3D)를 사용하여 깊이 있는 시각적 특징을 생성한다.
• 미니배치 k-means 군집화를 통해 이러한 특징을 시각 코드북으로 그룹화하고, 각 클립에 이산적인 군집 레이블을 할당한다.
• 모든 클립 간의 코드북 항목 쌍에 대해 공존 확률 행렬을 계산하여 의미 관계를 모델링한다.
• 사전에 계산된 공존 확률을 예측하도록 신경망을 훈련시켜, 시각적 의미의 조밀하고 분포된 표현을 학습한다.
• 학습된 기술 기반 기술을 단순 트랜스포머에 시각적 특징과 융합하여 비디오 캡처링을 수행하며, Bi-Modal Transformer(BMT)의 음성 입력을 대체한다.
• 다중 헤드 이중 모달 제안 모듈을 사용하여 시기적 이벤트 제안을 생성하고, 트랜스포머 디코더를 통해 캡처링을 생성한다.

실험 결과

연구 질문

• RQ1 오직 시각적 특징만을 사용할 때 비지도 시각 유사성 학습이 밀도 높은 비디오 캡처링 성능를 향상시킬 수 있는가?
• RQ2 시각 단어의 공존 패턴에 기반한 학습된 시각 기반 기술이 밀도 높은 비디오 캡처링 모델에서 음성 신호를 대체할 수 있는가?
• RQ3 학습된 제안 설정에서 이론적으로 새로운 클립에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ4 공존 기반 시각적 의미를 깊이 있는 특징과 융합하면 단일 모달 비디오 캡처링에서 최고의 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 오직 시각적 특징만을 사용할 때 ActivityNet 데이터셋에서 학습된 제안 설정에서 최고의 성능를 달성하며, 모든 다른 단일 모달 방법을 능가한다.
• 기본 제안 설정에서 BLEU@4 스코어는 2.55를 기록하여 마스킹 트랜스포머에 약간 뒤지지만, 다른 시각 전용 모델보다는 훨씬 뛰어나다.
• 기본 제안 설정에서 METEOR 스코어는 8.65를 기록하여, 음성 또는 동작 주석을 사용하지 않음에도 불구하고 MDVC 및 iPerceive와 유사한 성능를 보였다.
• 학습된 제안 시나리오에서 F1 스코어는 0.57을 기록하여, 음성 없이도 시기적 이벤트 국소화에서 뛰어난 성능를 보였다.
• 정성적 결과는 모델이 시각적 변화가 거의 없는 비디오에서도 혼합 작업 및 손 움직임과 같은 핵심 동작을 정확히 식별함을 보여주며, 음성 없이도 BMT(V+Sm)보다 동작 인식에서 뛰어난 성능를 보였다.
• 오직 RGB 비디오 스트림과 음성 또는 언어적 지도 없이도, BMT(V+A) 및 MDVC와 같은 다중 모달 모델과 경쟁 가능한 성능를 달성했다.