[논문 리뷰] Predicting Actions to Help Predict Translations

Zixiu Wu, Julia Ive외 3명|arXiv (Cornell University)|2019. 08. 05.

Natural Language Processing Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 행동에 특화된 시각적 특징을 영상에서 추출하여 번역 품질을 햖थ하나, 특히 행동 동사를 마스킹으로 인해 손상된 원천 텍스트에서 성능을 향상시키는 트랜스포머 기반 다중모달 기계 번역 모델을 제안한다. 결과적으로, 영상 행동 인식 네트워크에서 유도된 시각적 특징이 마스킹 설정에서 성능 향상에 크게 기여하며, 인간 평가를 통해 동사와 관련된 시각적 임베딩을 사용하는 모델이 텍스트 전용 기준 모델보다 더 정확하고 자연스러운 번역을 생성하는 것으로 확인되었다.

ABSTRACT

We address the task of text translation on the How2 dataset using a state of the art transformer-based multimodal approach. The question we ask ourselves is whether visual features can support the translation process, in particular, given that this is a dataset extracted from videos, we focus on the translation of actions, which we believe are poorly captured in current static image-text datasets currently used for multimodal translation. For that purpose, we extract different types of action features from the videos and carefully investigate how helpful this visual information is by testing whether it can increase translation quality when used in conjunction with (i) the original text and (ii) the original text where action-related words (or all verbs) are masked out. The latter is a simulation that helps us assess the utility of the image in cases where the text does not provide enough context about the action, or in the presence of noise in the input text.

연구 동기 및 목표

• 영상에서 유도된 시각적 특징이 다중모달 기계 번역에 기여하는지, 특히 행동 관련 동사에 대해 검토한다.
• 원천 텍스트에서 행동 동사를 마스킹하여 노이즈가 많거나 불완전한 입력을 시뮬레이션함으로써, 저자원 또는 노이즈가 많은 번역 환경에서 시각 모odal이 효과적인지 평가한다.
• 행동 인식 특징, CNN 활성화, 단어 임베딩 등 다양한 시각적 특징 표현 방식을 비교하여 번역 보조에 기여하는지 평가한다.
• 청결한 텍스트 입력과 마스킹된 입력 간의 성능 격차를 줄이는 데 시각적 특징이 기여하는지 확인한다.
• 자동 평가 지표와 인간 평가를 비교하여, 특히 동사 마스킹 설정에서 번역 품질에 대한 인간의 인식과 자동 지표의 일치 여부를 검증한다.

제안 방법

• 연구는 텍스트 인코딩과 시각적 특징을 통합하는 트랜스포머 기반 아키텍처를 사용하여 다중모달 기계 번역을 수행한다.
• 영상 클립에서 시각적 특징은 세 가지 방법으로 추출된다: 행동 인식에 최적화된 3D ResNeXt-101 모델(비디오스엄), 3D ResNet-50의 최종 컨볼루션 레이어(conv4), 그리고 동사 분류 모델에서 유도된 단어 임베딩(AIF-emb).
• How2 데이터셋을 사용하며, 두 가지 마스킹 전략을 적용한다: 행동 동사만 마스킹(ACT), 모든 동사 마스킹(ALL), 이는 노이즈가 많거나 불완전한 입력을 시뮬레이션한다.
• Byte Pair Encoding(BPE)는 원본, ACT 마스킹, ALL 마스킹, 타겟 언어 텍스트 각각에 대해 별도로 적용되어 네 개의 별도된 어휘를 생성한다.
• 제거 분석(ablation study)을 통해 시각적 특징의 영향을 평가하기 위해 실제 영상 특징을 무작위 특징으로 교체하여 시각적 불일치를 유도한다. 이는 성능 향상이 의미 있는 시각적 정렬에 기인한 것임을 검증한다.
• 인간 평가는 포르투갈어 모국어를 사용하는 사람들로 하며, 150개의 테스트 샘플에 대해 텍스트 전용, AIF-conv4, AIF-emb 모델의 번역을 이원 비교 선호도 점수 체계로 평가한다.

실험 결과

연구 질문

• RQ1 원천 텍스트에서 행동 동사를 마스킹함으로써 손상된 상황에서 영상에서 유도된 시각적 특징이 번역 품질 향상에 기여하는가?
• RQ2 행동 인식 출력, CNN 활성화, 동사 임베딩 등 다양한 유형의 시각적 특징이 다중모달 번역에서 효과적으로 기여하는가?
• RQ3 시각적 특징의 성능 향상이 원본(ORG) 텍스트보다 마스킹 설정(ACT 및 ALL)에서 더 두드러지는가?
• RQ4 시각 모달이 원천 텍스트에서 문맥 정보가 손실된 경우, ORG와 마스킹 설정 간의 성능 격차를 줄이는 데 기여하는가?
• RQ5 자동 평가 지표가 특히 동사 마스킹 시나리오에서 인간의 번역 품질 인식과 일치하는가?

주요 결과

• 동사와 관련된 시각적 특징을 추출한 AIF-emb 모델이 인간 선호도 점수 0.81을 기록하여 텍스트 전용(0.75) 및 AIF-conv4(0.73) 모델을 모두 앞서며 최고의 성능을 보였다.
• 영상 행동 인식 네트워크에서 유도된 시각적 특징(videosum)이 자동 번역 성능에서 가장 우수했으며, 특히 마스킹 설정에서 두드러진 성능 향상을 보였다. ALL 마스킹 설정에서 텍스트 전용 모델 대비 0.4 BLEU 포인트 향상되었다.
• 비일치 복원 실험에서 시각적 특징이 실제와 다를 경우 BLEU 점수가 1.0 포인트 감소하여, 다중모달 모델이 시각 입력에 실질적으로 의존하고 있음을 확인했다.
• 강력한 자동 평가 지표 향상에도 불구하고, 텍스트 전용 모델과 다중모달 모델 간의 BLEU 점수 향상은 0.2에서 0.4 포인트에 그쳐 미세하지만 의미 있는 향상임을 시사한다.
• 인간 평가 결과, AIF-emb 모델이 동사가 마스킹된 경우 텍스트 전용 모델보다 더 유창하고 의미적으로 정확한 번역을 생성하는 것으로 나타나, 시각적 특징이 의미 복원 능력을 향상시킨다는 것을 시사한다.
• ORG와 ACT 간의 성능 격차는 시각적 특징으로는 유의미하게 줄어들지 않았으며, 이는 원천 텍스트에서 행동 동사가 누락된 경우 시각 입력만으로는 충분히 보완되지 않음을 의미한다.