[논문 리뷰] Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video

Bin Li, Yixuan Weng외 2명|arXiv (Cornell University)|2022. 03. 13.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 의료 지침 영상에서 시간적 답변 기반 작업을 위한 새로운 방법인 Visual-Prompt Text Span Localizing (VPTSL)을 제안한다. 이 방법은 사전 훈련된 언어 모델에 시각적 하이라이트 특징을 통합하여 다중모odal 간 정렬을 향상시킨다. 타임스탬프가 부여된 자막을 문장으로 활용하고, 시각적 프롬프트를 통해 텍스트와 영상 간 의미적 격차를 메우며, MedVidQA 데이터셋에서 SOTA 대비 28.36% 높은 mIOU를 달성하여 스팬 로컬라이제이션 정확도 향상이 뚜렷하게 입증된다.

ABSTRACT

The temporal answering grounding in the video (TAGV) is a new task naturally derived from temporal sentence grounding in the video (TSGV). Given an untrimmed video and a text question, this task aims at locating the matching span from the video that can semantically answer the question. Existing methods tend to formulate the TAGV task with a visual span-based question answering (QA) approach by matching the visual frame span queried by the text question. However, due to the weak correlations and huge gaps of the semantic features between the textual question and visual answer, existing methods adopting visual span predictor perform poorly in the TAGV task. To bridge these gaps, we propose a visual-prompt text span localizing (VPTSL) method, which introduces the timestamped subtitles as a passage to perform the text span localization for the input text question, and prompts the visual highlight features into the pre-trained language model (PLM) for enhancing the joint semantic representations. Specifically, the context query attention is utilized to perform cross-modal interaction between the extracted textual and visual features. Then, the highlight features are obtained through the video-text highlighting for the visual prompt. To alleviate semantic differences between textual and visual features, we design the text span predictor by encoding the question, the subtitles, and the prompted visual highlight features with the PLM. As a result, the TAGV task is formulated to predict the span of subtitles matching the visual answer. Extensive experiments on the medical instructional dataset, namely MedVidQA, show that the proposed VPTSL outperforms the state-of-the-art (SOTA) method by 28.36% in terms of mIOU with a large margin, which demonstrates the effectiveness of the proposed visual prompt and the text span predictor.

연구 동기 및 목표

• 시간적 답변 기반 작업(TAGV)에서 텍스트 질문과 영상 스포트 간 의미적 불일치 문제를 해결하기 위해.
• 텍스트와 영상 모odal 간 연관성이 약하고 의미적 격차가 큰 의료 지침 영상에서의 다중모달 이해를 향상시키기 위해.
• 사전 훈련된 언어 모델(PLM)에 시각적 하이라이트 특징을 프롬프트로 통합하여 스팬 예측 정확도를 향상시키기 위해.
• TAGV 작업을 직접 프레임 수준의 회귀가 아닌 타임스탬프가 부여된 자막에서의 텍스트 스팬 로컬라이제이션으로 재정의하기 위해.

제안 방법

• 영상-텍스트 하이라이트를 활용해 시각적 하이라이트 특징을 프롬프트로 생성하는 시각적 프롬프트 학습 프레임워크를 도입한다.
• 문맥 쿼리 어텐션을 사용해 질문 및 자막에서 유래한 텍스트 특징과 시각적 하이라이트 특징 간의 다중모달 상호작용을 수행한다.
• 질문, 타임스탬프가 부여된 자막, 프롬프트된 시각적 특징을 사전 훈련된 언어 모델로 인코딩하여 자막 내 답변 스팬을 예측하는 텍스트 스팬 예측기 설계.
• 시각적 프롬프트 생성을 감독하기 위해 하이라이트 손실을 사용하여 시각적 하이라이트와 관련된 자막 스팬 간 정렬을 보장한다.
• 예측 스팬 주변의 입력 텍스트 범위를 확장하기 위해 확장 시간 하이퍼파rameter α를 적용하여 시간적 변동성에 대한 내성 향상.
• 강력한 의미적 이해를 위해 사전 훈련된 언어 모델(PLM)을 활용하며, 무작위 또는 word2vec 기반 초기화를 대체한다.

실험 결과

연구 질문

• RQ1 의료 지침 영상에서 텍스트 질문과 영상 답변 간 의미적 격차를 효과적으로 메우기 위해 시각적 프롬프트가 유용한가?
• RQ2 직접 프레임 수준의 예측 대비 타임스탬프가 부여된 자막을 문장으로 활용할 경우 시간적 답변 기반 작업의 정확도는 어떻게 향상되는가?
• RQ3 사전 훈련된 언어 모델에 시각적 특징을 프롬프트로 통합할 경우 스팬 로컬라이제이션을 위한 공동 텍스트-영상 표현 학습은 얼마나 향상되는가?
• RQ4 확장 시간 비율 α 및 시각적 프롬프트 손실 가중치 λ와 같은 하이퍼파라미터의 최적 설정은 무엇이며, 이는 어떻게 안정적인 성능을 이끌어내는가?
• RQ5 시각적 프롬프트가 자막의 언어적 요소와 비언어적 요소 간의 어텐션 분포를 향상시켜 더 정밀한 스팬 예측을 유도하는가?

주요 결과

• 제안된 VPTSL 방법은 MedVidQA 데이터셋에서 SOTA 방법 대비 28.36% 높은 mIOU를 달성하여 성능 향상이 뚜렷하게 입증된다.
• 시각적 프롬프트를 제거할 경우 mIOU가 2.4 하락하며, 이는 시각적 프롬프트가 텍스트와 시각적 의미 간 정렬에 핵심적인 역할을 함을 확인한다.
• 사전 훈련된 언어 모델을 사용할 경우 무작위 초기화 대비 mIOU가 2.11 포인트 향상되며, 강력한 의미 인코딩의 중요성을 입증한다.
• 최적의 확장 시간 하이퍼파라미터 α = 0.25에서 최고의 성능을 기록하며, 이보다 높거나 낮은 값에서는 성능 저하가 관찰된다.
• 최적의 시각적 프롬프트 손실 가중치 λ = 0.1에서 성능이 최대에 도달하며, 균형 잡힌 감독이 예측 품질 향상에 기여함을 보여준다.
• 어텐션 시각화 결과, 시각적 프롬프트가 답변 스팬 내 인접한 자막에 대한 어텐션을 증가시키며, 특히 언어적 요소와 비언어적 요소 간의 다리를 놓는 데 기여함을 확인한다.