[논문 리뷰] Semantically Sensible Video Captioning (SSVC)

Md. Mushfiqur Rahman, Thasin Abedin외 3명|arXiv (Cornell University)|2020. 09. 15.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 맥락 생성 단계에서 쌓인 어텐션과 공간적 하드 풀링 메커니즘을 통해 의미 정확도를 향상시키는 새로운 비디오 캡션 아키텍처인 SSVC를 제안한다. BLEU 및 새로운 의미 타당성(semantic sensibility, SS) 지표를 사용하여 평가한 결과, SSVC는 정량적·정성적 성능 모두에서 최신 기술 수준의 모델을 초월한다.

ABSTRACT

Video captioning, i.e. the task of generating captions from video sequences creates a bridge between the Natural Language Processing and Computer Vision domains of computer science. Generating a semantically accurate description of a video is an arduous task. Considering the complexity of the problem, the results obtained in recent researches are quite outstanding. But still there is plenty of scope for improvement. This paper addresses this scope and proposes a novel solution. Most video captioning models comprise of two sequential/recurrent layers - one as a video-to-context encoder and the other as a context-to-caption decoder. This paper proposes a novel architecture, SSVC (Semantically Sensible Video Captioning) which modifies the context generation mechanism by using two novel approaches - stacked attention and spatial hard pull. For evaluating the proposed architecture, along with the BLEU scoring metric for quantitative analysis, we have used a human evaluation metric for qualitative analysis. This paper refers to this proposed human evaluation metric as the Semantic Sensibility (SS) scoring metric. SS score overcomes the shortcomings of common automated scoring metrics. This paper reports that the use of the aforementioned novelties improves the performance of the state-of-the-art architectures.

연구 동기 및 목표

• 기존 비디오 캡션 모델이 의미적으로 타당한 기술을 생성하는 데에 한계가 있음을 해결하기 위해.
• 비디오에서 맥락으로의 인코딩 과정을 재고함으로써 비디오 캡션에서 맥락 표현을 향상시키기 위해.
• BLEU와 같은 자동 평가 지표의 단점을 보완하기 위해 인간 기반의 의미 타당성(semantic sensibility, SS) 점수 지표를 도입하기 위해.
• 최신 아키텍처의 성능을 향상시키기 위해 맥락 생성 메커니즘에서 새로운 아키텍처 수정을 수행하기 위해.

제안 방법

• 표준 순차적/순환 레이어를 대체하기 위해 개선된 맥락 생성 메커니즘을 갖춘 새로운 아키텍처인 SSVC를 제안한다.
• 비디오 특징 내 장거리 의존성과 의미 관계를 더 잘 포착하기 위해 스택드 어텐션을 도입한다.
• 비디오 프레임의 주목적 공간 영역을 강조함으로써 어텐션 맵을 정밀하게 개선하기 위해 공간적 하드 풀링을 활용한다.
• 이중 단계 프로세스를 사용한다: 먼저 스택드 어텐션과 공간적 하드 풀링을 통해 비디오 특징을 맥락 표현으로 인코딩하고, 그 다음 자연어 캡션으로 디코딩한다.
• 생성된 캡션의 의미 일관성과 사실적 정확성을 평가하기 위해 인간 평가 지표인 의미 타당성(semantic sensibility, SS)을 사용한다.
• 정량적 평가를 위해 자동 BLEU 점수와 정성적 SS 점수를 모두 활용하여 평가의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 비디오 캡션 모델은 어순과 문법 외에도 의미적으로 타당한 기술을 생성하기 위해 어떻게 향상시킬 수 있는가?
• RQ2 스택드 어텐션과 공간적 하드 풀링은 비디오 캡션에서 맥락 표현을 어느 정도 향상시키는가?
• RQ3 인간 기반의 의미 타당성(semantic sensibility, SS) 지표는 BLEU와 같은 자동 지표보다 의미 정확도를 더 효과적으로 캡처할 수 있는가?
• RQ4 제안된 SSVC 아키텍처는 정량적·정성적 성능 모두에서 최신 기술 수준의 모델과 비교해 어떻게 성과를 내는가?
• RQ5 맥락 생성 단계에서의 아키텍처 수정은 종합적인 캡션 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 SSVC 아키텍처는 BLEU 점수와 정성적 평가 모두에서 최신 기술 수준의 모델을 초월하는 성능을 달성한다.
• 의미 타당성(semantic sensibility, SS) 지표는 의미 정확도와 일관성을 효과적으로 캡처하며, 자동 지표보다 캡션 품질 평가에서 뛰어난 성능을 보인다.
• 스택드 어텐션은 비디오 시퀀스 내 복잡한 시간적 및 의미적 의존성을 모델링하는 데에 모델의 능력을 향상시킨다.
• 공간적 하드 풀링은 어텐션 정렬을 향상시켜 더 정확하고 맥락적으로 관련된 특징 선택을 가능하게 한다.
• 스택드 어텐션과 공간적 하드 풀링의 조합은 인간 평가를 통해 더 의미적으로 타당한 캡션을 생성함을 확인한다.
• 결과적으로 맥락 생성 단계에서의 아키텍처 혁신이 표준 순환 모델을 뛰어넘어 캡션 품질을 크게 향상시킨다는 것이 입증된다.