[논문 리뷰] Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers

Shijie Geng, Peng Gao외 6명|arXiv (Cornell University)|2020. 07. 08.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 새로운 시공간 시나리오 그래프(STSGR)와 셔플드 트랜스포머 아키텍처를 사용하여 영상 대화를 위한 동적 그래프 표현 학습 프레임워크를 제안한다. 그래프 어텐션과 엣지 컨볼루션을 통해 프레임 내 시각적 의미를 모델링하고, 프레임 간 시간적 신호를 집계함으로써, AVSD 벤치마크에서 답변 생성 및 선택 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, CIDEr(1.272, DSTC8)를 포함한 모든 메트릭에서 이전 방법을 능가한다.

ABSTRACT

Given an input video, its associated audio, and a brief caption, the audio-visual scene aware dialog (AVSD) task requires an agent to indulge in a question-answer dialog with a human about the audio-visual content. This task thus poses a challenging multi-modal representation learning and reasoning scenario, advancements into which could influence several human-machine interaction applications. To solve this task, we introduce a semantics-controlled multi-modal shuffled Transformer reasoning framework, consisting of a sequence of Transformer modules, each taking a modality as input and producing representations conditioned on the input question. Our proposed Transformer variant uses a shuffling scheme on their multi-head outputs, demonstrating better regularization. To encode fine-grained visual information, we present a novel dynamic scene graph representation learning pipeline that consists of an intra-frame reasoning layer producing spatio-semantic graph representations for every frame, and an inter-frame aggregation module capturing temporal cues. Our entire pipeline is trained end-to-end. We present experiments on the benchmark AVSD dataset, both on answer generation and selection tasks. Our results demonstrate state-of-the-art performances on all evaluation metrics.

연구 동기 및 목표

• 영상, 음성, 캡션, 대화 이력이 포함된 영상 기반 다중 모달 시나리오 인식 대화(AVSD)에서의 다중 모달 표현 학습 및 추론 문제를 해결하기 위해.
• 영상 내 세밀한 시각적 의미와 시간적 의존성을 포착하여, 복잡한 다중 모달 입력에 대한 추론 능력을 향상시키기 위해.
• 다중 헤드 어텐션 출력에 새로운 셔플링 메커니즘을 적용하여 다중 모달 트랜스포머의 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 시각, 청각, 언어 모달을 종합적으로 융합하는 계층적 표현 학습 파이프라인을 구축하여, 종단 간 대화 생성 및 선택을 효과적으로 수행하기 위해.

제안 방법

• 그래프 어텐션과 엣지 컨볼루션을 사용해 각 프레임의 시각적 그래프를 구성함으로써 객체 간 관계와 공간적 맥락을 인코딩하는 시공간 시나리오 그래프(STSGR) 표현을 제안한다.
• 시간적 이웃 프레임 간에 시각적 표현을 전파하고 업데이트함으로써 압축적이고 동적인 시각 기억을 구축하는 인터-프레임 집계 모듈을 도입한다.
• 다중 모달 셔플드 트랜스포머를 활용하며, 다중 헤드 어텐션 헤드의 출력을 무작위로 셔플링하여 융합함으로써 정규화 및 일반화 능력을 향상시킨다.
• 질문 임bedding을 조건으로 삼아, 대화 이력, 캡션, 음성-시각 기억을 순차적 트랜스포머 디코더를 통해 융합한다.
• 종단 간 학습을 통해 시각적 그래프 학습, 모달 융합, 답변 생성 또는 선택을 동시에 최적화한다.
• 음성 특징과 영상 프레임 간의 시간적 정렬을 활용하여 표현 학습 시 모달 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 전체 영상 특징에 비해 동적이고 그래프 기반의 시각적 표현이 영상 대화 시스템의 추론 능력을 향상시키는가?
• RQ2 제안된 셔플드 트랜스포머 아키텍처는 다중 모달 시퀀스 모델링에서 일반화 능력을 향상시키고 과적합을 줄이는 데 어떤 기여를 하는가?
• RQ3 프레임 내 및 프레임 간 추론을 통합함으로써 복잡한 AVSD 작업에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 시나리오 그래프를 음성-시각 및 언어 모달과 융합함으로써 이전 방법에 비해 더 나은 답변 생성 및 선택 성능을 달성하는가?
• RQ5 핵심 모달(예: 캡션 또는 대화 이력)이 제거되었을 때 모델의 성능 및 강건성은 어떻게 변화하는가?

주요 결과

• 제안된 STSGR 모델은 AVSD 벤치마크에서 최신 기술 수준 성능을 달성하였으며, DSTC8에서 CIDEr 점수 1.272, DSTC7에서 1.249를 기록하여 MTN 및 멀티모달 어텐션을 포함한 이전 방법들을 모두 능가하였다.
• 답변 선택 작업에서, 전체 모델 기준 평균 검색 순위는 4.08, 캡션 없음 설정에서는 5.91로, 각각 기준선인 7.41 및 6.54보다 유의미하게 높은 성능을 보였다.
• 제거 실험 결과, STSGR 표현에 음성을 통합함으로써 성능 향상이 확인되었으며, 전체 모달을 사용했을 때 평균 검색 순위는 4.67에서 4.08로 감소하였다.
• STSGR 표현만으로도 I3D 및 VGG 특징보다 우수한 성능을 보였으며, 생성 작업에서 시나리오 그래프를 사용한 CIDEr 점수는 1.265, I3D를 사용한 MTN의 경우 1.249였다.
• 정성적 결과는 모델이 혼잡한 환경에서도 객체를 프레임 간에 효과적으로 추적하고, 공간-시간적 질문에 높은 신뢰도로 답변하는 데 성공했다.
• 셔플드 트랜스포머 변형은 과적합을 줄이고 일반화 능력을 향상시켰으며, 모든 평가 메트릭과 제거 실험 설정에서 일관된 성능 향상을 보였다.