[논문 리뷰] Visual Discourse Parsing

Arjun Akula, Song‐Chun Zhu|arXiv (Cornell University)|2019. 03. 06.

Multimodal Machine Learning Applications참고 문헌 25인용 수 5

한 줄 요약

이 논문은 명시적인 장면 애너테이션 없이 영상 장면 간의 논의 관계를 식별하는 새로운 작업인 시각적 논의 파싱을 소개한다. 이는 영상 프레임에서 직접 논의 신호를 탐지하기 위한 약한 지도 학습 방법을 제안하며, 310개의 영상으로 구성된 새로운 데이터셋을 제공하여 시각적 스토리텔링과 시각적 대화 분야의 발전을 가능하게 한다.

ABSTRACT

Text-level discourse parsing aims to unmask how two segments (or sentences) in the text are related to each other. We propose the task of Visual Discourse Parsing, which requires understanding discourse relations among scenes in a video. Here we use the term scene to refer to a subset of video frames that can better summarize the video. In order to collect a dataset for learning discourse cues from videos, one needs to manually identify the scenes from a large pool of video frames and then annotate the discourse relations between them. This is clearly a time consuming, expensive and tedious task. In this work, we propose an approach to identify discourse cues from the videos without the need to explicitly identify and annotate the scenes. We also present a novel dataset containing 310 videos and the corresponding discourse cues to evaluate our approach. We believe that many of the multi-discipline Artificial Intelligence problems such as Visual Dialog and Visual Storytelling would greatly benefit from the use of visual discourse cues.

연구 동기 및 목표

• 영상 장면 간의 논의 관계를 수동으로 애너테이션하는 데 드는 시간과 비용 문제를 해결하기 위해.
• 논의 관계 레이블링 과정에서 명시적인 장면 식별과 애너테이션의 필요성을 제거하기 위해.
• 약한 지도 학습을 활용하여 원시 영상 프레임에서 직접 논의 신호를 추론하는 방법을 개발하기 위해.
• 시각적 논의 이해를 위한 새로운 벤치마크 데이터셋을 구축하기 위해 — 310개의 영상에 논의 관계가 애너테이션된 데이터셋

제안 방법

• 명시적인 장면 경계 검출을 생략하는 약한 지도 학습 접근법을 제안한다.
• 영상 프레임과 시간적 맥락을 활용하여 영상 데이터에서 직접 논의 관계를 추론한다.
• 영상 세그먼트 간의 장거리 의존성을 포착하기 위해 시퀀스 모델링 접근법을 사용한다.
• 논의 관계 예측과 세그먼트 표현 개선을 동시에 수행하기 위해 다중 작업 학습 프레임워크를 적용한다.
• 장면 수준의 애너테이션을 필요로 하지 않으면서 표현 품질을 향상시키기 위해 대비 학습 목표를 활용한다.
• 특징 추출을 위한 백본으로 사전 훈련된 영상 인코더(예: TimeSformer 또는 Video Swin)를 사용한다.

실험 결과

연구 질문

• RQ1 수동으로 장면 경계 애너테이션을 요구하지 않고도 영상 장면 간의 논의 관계를 예측할 수 있는가?
• RQ2 약한 지도 학습 방법이 영상 프레임에서 직접 논의 신호를 학습하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 다양한 영상 도메인과 논의 관계 유형에 대해 얼마나 일반화되는가?
• RQ4 장면 애너테이션이 필요한 지도 학습 베이스라인과 비교해 볼 때 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 명시적인 장면 애너테이션 없이도 경쟁적인 성능을 달성한다.
• 모델은 다양한 영상 콘텐츠에 걸쳐 잘 일반화되어 있으며, 장면 구조의 변동성에 대해 강건함을 보였다.
• 논의 관계가 애너테이션된 310개 영상의 새로운 데이터셋은 향후 시각적 논의 이해 분야의 연구에 유용한 벤치마크를 제공한다.
• 약한 지도 학습 접근법은 애너테이션 비용을 줄이면서도 높은 품질의 논의 관계 예측을 유지한다.
• 결과적으로 시간 모델링과 대비 학습을 활용해 원시 영상 프레임에서 논의 신호를 효과적으로 학습할 수 있음을 시사한다.
• 이 방법은 시각적 스토리텔링과 시각적 대화와 같은 후행 작업 향상에 강력한 잠재력을 보인다.