[논문 리뷰] Character Matters: Video Story Understanding with Character-Aware Relations

Shijie Geng, Ji Zhang외 4명|arXiv (Cornell University)|2020. 05. 09.

Multimodal Machine Learning Applications참고 문헌 35인용 수 12

한 줄 요약

이 논문은 약한 지도 학습 기반 얼굴 이름 지정과 트랜스포머 기반 추론을 사용하여 캐릭터, 물체 및 그들의 신원 간의 세밀한 관계를 모델링함으로써 영상 스토리 이해를 향상시키는 문자 인식 추론 네트워크(CA-RN)를 제안한다. TVQA 데이터셋에서 모델은 기존 최고 성능 기준 대비 최대 2.68% 향상된 정확도를 달성하며, 특히 깊은 시점 이해와 다중 관계 추론이 필요한 질문에서 뛰어난 성능을 보인다.

ABSTRACT

Different from short videos and GIFs, video stories contain clear plots and lists of principal characters. Without identifying the connection between appearing people and character names, a model is not able to obtain a genuine understanding of the plots. Video Story Question Answering (VSQA) offers an effective way to benchmark higher-level comprehension abilities of a model. However, current VSQA methods merely extract generic visual features from a scene. With such an approach, they remain prone to learning just superficial correlations. In order to attain a genuine understanding of who did what to whom, we propose a novel model that continuously refines character-aware relations. This model specifically considers the characters in a video story, as well as the relations connecting different characters and objects. Based on these signals, our framework enables weakly-supervised face naming through multi-instance co-occurrence matching and supports high-level reasoning utilizing Transformer structures. We train and test our model on the six diverse TV shows in the TVQA dataset, which is by far the largest and only publicly available dataset for VSQA. We validate our proposed approach over TVQA dataset through extensive ablation study.

연구 동기 및 목표

• 현재 영상 질의 응답 모델이 거시적 전역 시각적 특징에 의존하고 영상 스토리 내 신원 인식 관계를 포착하지 못하는 한계를 해결하기 위해.
• 사람을 일반적인 시각적 실체로 간주하는 대신 캐릭터 인식 시각적 관계를 모델링함으로써 영상 스토리 이해를 향상시키기 위해.
• 비용이 많이 드는 애너테이션에 의존하지 않고 다중 인스턴스 동시 발생 매칭을 통한 약한 지도 학습 기반 얼굴 이름 지정을 가능하게 하기 위해.
• 다중 모odal 신호(자막, 물체, 관계, 이름)를 통합하는 트랜스포머 기반 아키텍처를 통해 영상 스토리에서 고차원 추론을 지원하기 위해.
• TVQA 벤치마크에서 복잡하고 신원 및 관계에 의존하는 질문에서 문자 인식 관계의 효과성을 검증하기 위해.

제안 방법

• 프리트레인된 물체 검출기를 사용해 영상 프레임 내 캐릭터와 물체를 식별한 후, 명시적 애너테이션 없이 다중 인스턴스 동시 발생 매칭을 통해 얼굴-이름 연관성을 유추한다.
• 얼굴 및 사람 바운딩 박스 간의 공간적 오버랩을 기반으로 일반적인 인간 참조(예: '여자', '남자')를 예측된 캐릭터 이름으로 대체함으로써 캐릭터 인식 시각적 관계를 구성한다.
• 자막, 검출된 물체, 캐릭터 인식 관계, 명시적 실체를 융합하여 통합된 표현을 생성하는 다중 모달 인코더를 사용한다.
• 핵심 추론 모듈은 다양한 모odal 간 장거리 의존성을 포착하고 복잡한 질문에 대한 고차원 추론을 가능하게 하는 트랜스포머 기반 네트워크이다.
• 엔드 투 엔드로 다중 작업 학습 방식으로 모델을 훈련하며, 영상 질의 응답과 캐릭터 이름 지정을 동시에 최적화함으로써 두 작업 간 상호 개선을 유도한다.
• 성능 기여도 평가를 위해 구성 요소(예: 이름, 관계)를 체계적으로 제거한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 일반적인 시각적 특징을 넘어서, 인간 참조를 예측된 캐릭터 이름으로 대체하는 문자 인식 시각적 관계를 모델링함으로써 영상 스토리 이해가 향상되는가?
• RQ2 동시 발생 매칭을 통한 약한 지도 학습 기반 얼굴 이름 지정이 수동 얼굴 애너테이션 없이 영상 질의 응답에 효과적으로 기여하는가?
• RQ3 캐릭터 인식 관계는 다수의 캐릭터, 물체 및 복잡한 상호작용을 포함하는 질문의 추론에 얼마나 기여하는가?
• RQ4 장문의 다문장 자막에서 RNN 기반 모델 대비 트랜스포머 기반 추론 모듈의 통합이 성능에 어떻게 기여하는가?
• RQ5 캐릭터 이름, 물체 검출, 관계 모델링 중 각 요소가 영상 질의 응답의 총 정확도에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 모델은 TVQA 벤치마크에서 최고 성능을 달성하여, 최적의 이전 방법 대비 검증 세트에서 절대 정확도 2.68% 향상되고 테스트 세트에서 2.01% 향상되었다.
• 추론 실험 결과, 물체와 관계와 함께 캐릭터 이름을 시각적 의미에 통합하면 정확도가 0.92% 향상되며, 이는 신원 인식 추론의 가치를 입증한다.
• 다중 관계 이해가 필요한 질문, 예를 들어 여러 행동이나 동시에 일어나는 상호작용을 포함하는 질문(예: '소파에 앉아 있는 동안 유리 잔을 드는 사람은 누구인가요?')에서 모델의 성능 향상이 뚜렷하다.
• 물체와 관계만 사용하는 것에 비해 캐릭터 인식 관계를 도입함으로써 정확도가 0.6% 향상되며, 이는 신원 정보가 시점 이해에 중요한 역할을 함을 시사한다.
• 다중 작업 학습 설정은 캐릭터 이름 지정과 추론 성능을 모두 향상시키며, 공동 최적화가 특징 학습을 향상시킴을 보여준다.
• 모델의 성능 향상은 캐릭터 신원과 관계 체인을 포함하는 복잡한 질문에서 가장 두드러지며, 제안된 표현 방식의 효과성을 확인한다.