[논문 리뷰] Speech-Based Visual Question Answering

Ted Zhang, Dengxin Dai외 3명|arXiv (Cornell University)|2017. 05. 01.

Multimodal Machine Learning Applications참고 문헌 30인용 수 15

한 줄 요약

이 논문은 음성 기반 시각질문응답(VQA)을 소개하며, 원시 음성 웨이브포맷을 직접 처리하는 엔드 투 엔드 딥 네트워크와 ASR를 거쳐 텍스트 기반 VQA를 수행하는 파이프라인 방법을 제안한다. 파이프라인 방법에 비해 성능은 열 劣하나, 노이즈에 대한 강건성과 저자원 언어 환경에서의 실현 가능성은 입증되었으며, 연구자들은 200시간의 합성 음성과 1시간의 실제 음성 VQA 데이터셋을 공개한다.

ABSTRACT

This paper introduces speech-based visual question answering (VQA), the task of generating an answer given an image and a spoken question. Two methods are studied: an end-to-end, deep neural network that directly uses audio waveforms as input versus a pipelined approach that performs ASR (Automatic Speech Recognition) on the question, followed by text-based visual question answering. Furthermore, we investigate the robustness of both methods by injecting various levels of noise into the spoken question and find both methods to be tolerate noise at similar levels.

연구 동기 및 목표

• 말로 된 질문을 사용한 시각질문응답의 실현 가능성 탐색.
• 엔드 투 엔드 오디오에서 답변으로의 모델링과 파이프라인 기반 ASR 접근법 간 비교.
• 다양한 수준의 배경 노이즈 하에서 두 방법의 강건성 평가.
• 공개용으로 사용 가능한 새로운 음성 기반 VQA 데이터셋 제공, 합성 및 실제 인간이 녹음한 오디오 포함.
• 특히 제로샷 및 노이즈 있는 환경에서 오디오 전용 모델과 텍스트 기반 모델 간의 성능 격차 조사.

제안 방법

• 원시 오디오 웨이브포맷을 직접 답변으로 매핑하는 엔드 투 엔드 딥 네트워크를 훈련하여 중간 단계의 음성 전사가 필요 없도록 한다.
• 파이프라인 방법은 먼저 ASR를 통해 말하는 질문을 전사한 후, 그 결과 텍스트를 표준 텍스트 기반 VQA 모델에 입력한다.
• 오디오 입력은 원시 웨이브포맷에서 시간적 및 주파수적 특징을 추출하기 위해 CNN과 RNN 아키텍처를 사용하여 처리된다.
• 텍스트 기반 VQA 모델은 질문과 관련된 이미지 영역을 정렬하기 위해 스택형 어텐션 메커니즘을 사용한다.
• 두 모델은 VQA 1.0 데이터셋에서 유도된 새로운 음성 기반 VQA 데이터셋을 기반으로 훈련되며, 합성 및 실제 인간이 녹음한 오디오가 포함된다.
• 노이즈는 다양한 신호 대 잡음 비율에서 발화에 주입되어 두 방법의 강건성 평가에 사용된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 오디오에서 답변으로의 모델은 파이프라인 기반 ASR 기반 VQA 시스템에 비해 어떻게 성능을 내는가?
• RQ2 말하는 질문의 배경 노이즈 수준이 증가함에 따라 두 방법은 어떻게 성능을 내는가?
• RQ3 합성 오디오로 훈련된 모델과 실제 인간이 녹음한 음성으로 테스트한 모델 간의 성능 격차는 무엇인가?
• RQ4 제로샷 일반화에서 오디오 전용 모델과 텍스트 기반 접근법 간의 차이는 어떻게 다른가?
• RQ5 저자원 언어 환경에서 ASR 대체로 엔드 투 엔드 오디오 모델링이 실현 가능한가?

주요 결과

• 파이프라인 기반 ASR 방법(TextMod)는 합성 및 실제 인간이 녹음한 데이터 양쪽에서 엔드 투 엔드 오디오 모델(SpeechMod)보다 성능이 뛰어나며, 원본 텍스트에서는 53.09%의 정확도, 녹음된 오디오에서는 41.66%의 정확도를 기록한다.
• SpeechMod는 합성 오디오에서는 42.69%의 정확도를 기록하지만, 실제 인간이 녹음한 오디오에서는 단지 21.46%의 정확도를 기록하여 자연어 음성 변형에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• 노이즈 하에서 두 방법 모두 유사한 감소율을 보이며, 노이즈가 증가함에 따라 정확도가 유사한 수준으로 떨어지므로, 두 방법 간 강건성 수준이 유사하다는 것을 시사한다.
• 제로샷 성능 격차는 SpeechMod에서 7% 감소한 반면 TextMod에서는 4% 감소하여, 텍스트 기반 모델이 새로운 단어에 더 잘 일반화됨을 보여준다.
• 합성 오디오와 실제 인간이 녹음한 오디오의 스펙트로그램 간에 상당한 차이가 있으며, 이는 SpeechMod가 실제 음성에서 성능이 열 劣한 이유인 오디오 서명 불일치로 설명된다.
• 연구자들은 향후 음성과 시각 통합 연구를 지원하기 위해 211시간의 음성 VQA 데이터셋(합성 200시간, 실제 1시간)을 공개한다.