[논문 리뷰] Context, Attention and Audio Feature Explorations for Audio Visual Scene-Aware Dialog

Shachi H Kumar, Eda Okur외 4명|arXiv (Cornell University)|2018. 12. 20.

Multimodal Machine Learning Applications참고 문헌 18인용 수 9

한 줄 요약

이 논문은 주제 모델링, 대화 이력에 대한 다중 헤드 어텐션, 그리고 AclNet를 통한 엔드 투 엔드 오디오 분류를 통해 맥락 이해를 향상시키는 엔드 투 엔드 오디오-시각적 시나리오 인식 대화 시스템을 제안한다. 다양한 지표에서 베이스라인 대비 성능 향상을 보이며, 특히 오디오 관련 질의 응답에서 뛰어난 성능을 보였고, AclNet 특징이 일반 평가와 오디오 전용 평가 모두에서 VGGish를 능가했다.

ABSTRACT

With the recent advancements in AI, Intelligent Virtual Assistants (IVA) have become a ubiquitous part of every home. Going forward, we are witnessing a confluence of vision, speech and dialog system technologies that are enabling the IVAs to learn audio-visual groundings of utterances and have conversations with users about the objects, activities and events surrounding them. As a part of the 7th Dialog System Technology Challenges (DSTC7), for Audio Visual Scene-Aware Dialog (AVSD) track, We explore `topics' of the dialog as an important contextual feature into the architecture along with explorations around multimodal Attention. We also incorporate an end-to-end audio classification ConvNet, AclNet, into our models. We present detailed analysis of the experiments and show that some of our model variations outperform the baseline system presented for this task.

연구 동기 및 목표

• 대화 주제 모델링을 통합하여 오디오-시각적 시나리오 인식 대화 시스템의 맥락 인식 능력을 향상시키기.
• 대화 이력과 다중모달 특징에 대한 다중 헤드 어텐션을 적용하여 응답 생성 성능을 향상시키기.
• 더 나은 오디오 이해를 위해 AclNet를 활용한 엔드 투 엔드 오디오 특징 추출을 탐색하기.
• 맥락적 및 다중모달 특징이 응답 품질과 이진 답변 예측에 미치는 영향을 평가하기.
• 오디오 관련 대화 턴에서 AclNet와 VGGish 오디오 특징의 성능을 비교하기.

제안 방법

• 시드워드를 사용하여 대화 이력과 질문에 주제 모델링을 적용하여 은닉된 대화 주제를 식별한다.
• 대화 이력 LSTM의 은닉 상태에 다중 헤드 어텐션을 적용하여 관련된 과거 발화에 집중할 수 있도록 한다.
• 50개 클래스의 엔드 투 엔드 오디오 분류 컨볼루션 네트워크인 AclNet을 사용하여 원시 오디오 특징에서 오디오 임베딩을 추출한다.
• 어텐션 메커니즘을 대화 이력 상태와 다중모달 오디오/비디오 특징을 동시에 고려하도록 확장한다.
• 주제 표현, 대화 이력 상태, 오디오 특징을 통합된 인코더-디코더 프레임워크에 통합하고, 크로스 어텐션을 적용한다.
• 이진 답변 평가를 통해 '예/아니오' 질문에 대한 모델 성능을 평가하며, 특히 오디오 관련 질의에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 시드워드 기반 주제 모델링이 오디오-시각적 대화 시스템의 맥락 이해에 향상 효과를 줄 수 있는가?
• RQ2 다양한 대화 이력 LSTMs의 은닉 상태에 대한 어텐션은 최종 LSTMs 상태에만 의존하는 것보다 응답 생성 성능을 향상시키는가?
• RQ3 AclNet를 통한 엔드 투 엔드 오디오 분류가 시나리오 인식 대화 작업에서 기존 오디오 임베딩(VGGish)보다 우수한 성능을 낼 수 있는가?
• RQ4 이력 상태에 대한 어텐션과 이력 상태 + 오디오 특징에 대한 어텐션의 차이가 응답 품질과 정답 정확도에 어떤 영향을 미치는가?
• RQ5 오디오 전용 특징을 통합하면 기존 베이스라인 모델 대비 오디오 관련 질문에서 더 높은 성능을 내는가?

주요 결과

• 모든 LSTMs 은닉 상태에 대한 어텐션을 적용한 모델이 BLEU3, BLEU4, METEOR, CIDEr, ROUGE 점수에서 베이스라인을 초월했다.
• 이력 상태와 다중모달 특징에 대한 어텐션을 적용한 설정은 CIDEr 점수에서 향상되었지만, 이력 전용 어텐션 버전 대비 이진 답변 평가에서 약간의 성능 저하를 보였다.
• AclNet 특징은 모든 평가 지표에서 베이스라인을 능가했으며, 오디오 관련 질문 서브셋에서 VGGish를 능가했다.
• 정성적 분석 결과, B+AclNet는 '비디오에 소리가 있는가?'라는 질문을 정확히 답변한 반면, B+VGGish는 실패했고, '기침'과 같은 미세한 오디오 이벤트를 더 잘 포착했다.
• 시드워드 기반 주제 모델링은 베이스라인 대비 전체 성능 향상을 보였으며, 이는 유도된 주제 모델링이 맥락 기반 이해를 향상시킨다는 것을 시사한다.
• AclNet와 이력 상태에 대한 어텐션을 통합한 모델이 가장 뛰어난 종합 성능을 보였으며, 특히 오디오 전용 질의에서 두각을 나타냈다.