[논문 리뷰] How2: A Large-scale Dataset for Multimodal Language Understanding

Ramon Sanabria, Ozan Çağlayan외 5명|arXiv (Cornell University)|2018. 11. 01.

Natural Language Processing Techniques참고 문헌 35인용 수 152

한 줄 요약

How2는 영어 자막, 단어 수준 정렬, 포르투갈어 번역을 포함한 대규모 다국어 다중모달 instructional 비디오 데이터셋과 ASR, MT, STT, 요약에 대한 다중모달 이점을 보이는 베이스라인을 소개한다.

ABSTRACT

In this paper, we introduce How2, a multimodal collection of instructional videos with English subtitles and crowdsourced Portuguese translations. We also present integrated sequence-to-sequence baselines for machine translation, automatic speech recognition, spoken language translation, and multimodal summarization. By making available data and code for several multimodal natural language tasks, we hope to stimulate more research on these and similar challenges, to obtain a deeper understanding of multimodality in language processing.

연구 동기 및 목표

• 발화, 텍스트, 시각 정보를 지시 주제 전반에 걸쳐 연결하는 대규모의 자연적으로 발생하는 다중모달 데이터셋을 제공한다.
• 크로스-링구얼 다중모달 작업을 지원하기 위해 다국어(영어-포르투갈어) 주석을 가능하게 한다.
• ASR, MT, STT, 요약에 대한 시각 맥락의 영향을 연구하기 위한 베이스라인 모델과 작업을 제시한다.

제안 방법

• 영어 자막과 영어 요약의 정답을 포함한 79,114개의 instructional 비디오(~2,000시간) 데이터셋을 구성한다.
• 머신 번역 세그먼트를 후편집(post-editing)하여 자막의 포르투갈어 번역을 크라우드소싱하고 품질 관리에 집중한다.
• 클립당 시각 특징을 추출하고 Kaldi WSJ 모델을 사용한 Viterbi 정렬로 단어 수준 자막과 오디오를 정렬한다.
• 계층적 주의(hierarchical attention)를 이용해 ASR, 영어→포르투갈어 MT, STT 및 다중모달 요약에 대한 시퀀스-투-시퀀스 베이스라인을 학습한다.
• 다중모달 작업에서 음성 특징에 대한 비디오 특이 편향을 학습하여 시각-적응형 훈련을 적용한다.
• ASR에 대해 WER, MT/STT에 대해 BLEU, 요약에 대해 ROUGE-L로 평가한다.

실험 결과

연구 질문

• RQ1 다중모달 정보(특히 행동 수준의 시각 단서)가 텍스트 전용 베이스라인에 비해 ASR, MT, STT, 요약 작업의 성능을 향상시키는가?
• RQ2 영어↔포르투갈어 다중모달 설정에서 시각화가 다중언어 이해에 어떤 영향을 미치는가?
• RQ3 대규모 instructional 도메인 말뭉치에서 음성, 텍스트, 비디오를 페어링할 때 데이터 특성 및 정렬 품질은 어떠한가?

주요 결과

Task	Baseline	Multimodal (spc)
ASR (WER %)	19.4	18.0
MT (BLEU)	54.4	54.4
STT (BLEU)	36.0	37.2
SUM (ROUGE-L)	53.9	54.9

• 다중모달 모델은 ASR 성능을 향상시킴(WER가 19.4에서 18.0으로 감소).
• 다중모달 MT는 이 설정에서 기준치(54.4)와 비교해 BLEU에 변화가 없지만, 적응 입력이 있는 다중모달 MT는 동등성을 유지함.
• 다중모달 STT는 BLEU를 36.0에서 37.2로 개선.
• 다중모달 요약은 ROUGE-L을 53.9에서 54.9로 개선.
• 300h 하위집합에는 약 3.8M 영어 단어와 3.6M 포르투갈어 단어가 포함되며, 전체 2000h 코퍼스는 약 22.5M 영어 단어를 포함한다.
• 시각 특징(행동 수준)과 계층적 주의가 다중모달 작업에서 이익에 기여한다.