[논문 리뷰] Keyframe Segmentation and Positional Encoding for Video-guided Machine Translation Challenge 2020

Tosho Hirasawa, Zhishen Yang외 2명|arXiv (Cornell University)|2020. 06. 23.

Multimodal Machine Learning Applications참고 문헌 10인용 수 8

한 줄 요약

이 논문은 시간적 순서를 유지하기 위해 비디오 특징과 위치 인코딩을 통합함으로써 번역 품질을 향상시키는 关건프레임 기반 비디오 가이드드 기계 번역 시스템을 제안한다. 이 시스템은 모odal별 어텐션과 특징 앙상블을 포함한 계층적 어텐션 모델을 사용하여 VMT 챌린지 2020에서 36.60 BLEU-4를 기록하며 모든 제출물 중 1등을 차지하였다.

ABSTRACT

Video-guided machine translation as one of multimodal neural machine translation tasks targeting on generating high-quality text translation by tangibly engaging both video and text. In this work, we presented our video-guided machine translation system in approaching the Video-guided Machine Translation Challenge 2020. This system employs keyframe-based video feature extractions along with the video feature positional encoding. In the evaluation phase, our system scored 36.60 corpus-level BLEU-4 and achieved the 1st place on the Video-guided Machine Translation Challenge 2020.

연구 동기 및 목표

• 비디오에서 시각 정보를 활용하여 비디오 가이드드 기계 번역을 향상시키기 위해.
• 비디오 특징 표현에서 시간적 순서 모델링의 부족을 해결하기 위해.
• 关건프레임 기반 특징 추출과 위치 인코딩을 통해 번역 품질을 향상시키기 위해.
• 다양한 유형의 비디오 특징—행동, 객체, 환경 특징—이 번역 성능에 미치는 영향을 평가하기 위해.
• 다양한 비디오 특징 유형의 모델 앙상블을 통해 최첨단 성능을 달성하기 위해.

제안 방법

• 비디오에서 关건프레임을 추출하고, 객체 인식을 위한 별도의 ResNet 기반 인코더(ResNet-152)와 환경 인식을 위한 별도의 인코더(ResNet-50)를 적용한다.
• 행동 특징은 비디오 클립에 대해 I3D 모델을 사용하여 추출하고, 외관 특징(객체 및 환경)은 关건프레임에서 유도한다.
• 시간적 순서를 유지하기 위해 비디오 표현에 위치 인코딩을 추가한다. 이는 위치와 차원 기반의 사인 함수를 사용한다: $ PE_{(pos,2i)} = sin(pos/10000^{2i/d}) $, $ PE_{(pos,2i+1)} = cos(pos/10000^{2i/d}) $.
• 계층적 어텐션 메커니즘은 텍스트 및 비디오 모달에 대해 별도의 컨텍스트 벡터를 계산하며, 모달 간 어텐션을 통한 모달 가중 융합을 수행한다.
• 디코더는 텍스트 및 비디오 특징에 대한 어텐션을 사용하는 두 층의 GRU를 사용하며, 최종 컨텍스트 벡터는 모달별 컨텍스트 벡터의 가중 합으로 계산된다.
• 다양한 비디오 특징(행동, 객체, 환경)을 기반으로 훈련된 여러 모델을 앙상블하여 강건성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 关건프레임 기반 비디오 특징 추출은 비디오 가이드드 기계 번역에서 번역 품질을 향상시키는가?
• RQ2 비디오 표현에 위치 인코딩을 통합하면 시간적 순서를 유지함으로써 번역 성능이 향상되는가?
• RQ3 행동, 객체, 환경 특징 등의 다양한 비디오 특징 유형은 번역 품질에 어떻게 기여하는가?
• RQ4 다양한 비디오 특징을 기반으로 훈련된 모델을 앙상블하면 성능 향상이 추가로 이루어지는가?
• RQ5 공식 I3D 특징과 关건프레임 기반 특징이 VMT 환경에서 상대적으로 어떤 영향을 미치는가?

주요 결과

• 시스템은 공개 테스트 세트에서 36.60 BLEU-4를 기록하며 비디오 가이드드 기계 번역 챌린지 2020에서 1등을 차지하였다.
• 위치 인코딩을 추가하면 기준 모델 대비 BLEU가 +0.18 향상되었고, 이를 생략할 경우 BLEU가 약 -0.08 감소하였다.
• 텍스트에 객체 특징을 추가하면 텍스트 전용 기준 모델 대비 BLEU가 0.19 향상되었으며, 공식 I3D 기준 모델 대비 0.01 향상되었다.
• 행동 특징이 가장 높은 향상을 보였으며, 텍스트 전용 기준 모델 대비 BLEU가 0.32 향상되었고, I3D 기준 모델 대비 0.14 향상되었다.
• 행동, 객체, 환경 특징을 기반으로 훈련된 세 모델을 앙상블하면 최고의 단일 특징 모델 대비 BLEU가 0.96 향상되었다.
• 최종 앙상블 모델은 세 가지 변형(행동, 객체, 환경)을 결합하여 가장 높은 성능을 달성했으며, 최종 제출 버전으로 제출되었다.