[논문 리뷰] DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator

Hwanhee Lee, Seunghyun Yoon외 4명|arXiv (Cornell University)|2020. 04. 01.

Multimodal Machine Learning Applications참고 문헌 16인용 수 14

한 줄 요약

이 논문은 음성 시각적 장면 인식 대화(AVSD)를 위한 다중모달 의미 전이망(MSTN)을 제안한다. 표준 선형 디코더 출력층을 검색 기반 단어 임베딩 어텐션 메커니즘으로 대체하여 응답 생성 시 의미적 관련성을 향상시킨다. 모델은 DSTC8에서 이전 방법들을 능가하며 BLEU-4, METEOR, ROUGE-L, CIDEr 메트릭에서 최신 기준 성능을 달성한다. 이는 디코딩 중에 단어 의미에 명시적인 어텐션을 통해 달성된다.

ABSTRACT

Audio Visual Scene-aware Dialog (AVSD) is the task of generating a response for a question with a given scene, video, audio, and the history of previous turns in the dialog. Existing systems for this task employ the transformers or recurrent neural network-based architecture with the encoder-decoder framework. Even though these techniques show superior performance for this task, they have significant limitations: the model easily overfits only to memorize the grammatical patterns; the model follows the prior distribution of the vocabularies in a dataset. To alleviate the problems, we propose a Multimodal Semantic Transformer Network. It employs a transformer-based architecture with an attention-based word embedding layer that generates words by querying word embeddings. With this design, our model keeps considering the meaning of the words at the generation stage. The empirical results demonstrate the superiority of our proposed model that outperforms most of the previous works for the AVSD task.

연구 동기 및 목표

• 시퀀스 투 시퀀스 모델이 AVSD에서 문법 패턴과 이전 어휘 분포에 과적합되는 한계를 해결하기 위해.
• 디코딩 중 의미 인식 단어 선택을 통합하여 생성된 응답의 의미적 관련성을 향상시키기 위해.
• 고정된 선형 투영에 의존하는 대신 의미 임베딩 기반으로 동적으로 단어를 검색하는 디코더를 설계하기 위해.
• 비디오, 오디오, 텍스트, 대화 기록을 포함한 다중모달 환경에서 검색 기반 단어 생성기의 효과를 평가하기 위해.
• 간단한데 효과적인 트랜스포머 기반 아키텍처를 사용하여 DSTC8-AVSD 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 모델은 다섯 가지 입력 모odal: 텍스트, 비디오(i3d-flow), 오디오(veggs), 대화 기록, 캡션을 포함한 트랜스포머 기반 인코더-디코더 프레임워크를 사용한다.
• 인코더는 각 모달을 레이어 정규화, 위치 인코딩, 피드포워드 네트워크를 사용하여 처리하며, 모달 전용 자기 어텐션 메커니즘을 적용한다.
• 디코더는 타겟 시퀀스에 대해 멀티헤드 자기 어텐션을 적용하고, 질문을 쿼리로, 다른 모달을 키/밸류로 사용하여 질문 인식 어텐션을 계산한다.
• 표준 선형 투영층 대신, 디코더 은닉 상태와 사전 학습된 단어 임베딩 간의 내적곱 점수를 계산하는 단어 임베딩 어텐션 네트워크를 사용한다.
• 최종 단어 예측은 내적곱 점수에 대해 소프트맥스를 적용하여 수행되며, 이는 문맥과의 의미 유사도 기반으로 단어 선택을 가능하게 한다.
• 모델는 애드암 옵timizer를 사용하여 엔드 투 엔드로 학습되며, 웜업 스텝, 드롭아웃(0.2), 비트 서치(비트 크기 5), 최대 디코딩 길이 30을 적용한다.

실험 결과

연구 질문

• RQ1 표준 선형 디코더 출력층을 검색 기반 단어 생성기로 대체하면 AVSD 응답 생성의 의미적 관련성이 향상되는가?
• RQ2 디코딩 중에 단어 임베딩에 어텐션을 주면 AVSD 모델에서 문법 패턴과 이전 어휘 분포의 기억 현상이 감소하는가?
• RQ3 제안된 다중모달 의미 전이망(MSTN)은 DSTC8-AVSD 벤치마크에서 기존 최신 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ4 검색 기반 단어 생성기는 다중모달 대화 생성에서 성능 향상에 얼마나 기여하는가?
• RQ5 어텐션 기반 단어 생성을 갖는 간단한 트랜스포머 아키텍처는 오토에코더 손실 없이도 더 복잡한 모델(MTN)을 능가할 수 있는가?

주요 결과

• 제안된 MSTN 모델은 DSTC8-AVSD 벤치마크에서 최신 기준 성능을 달성하여, MTN 및 스터디언트-티처 모델을 포함한 모든 베이스라인 모델을 능가한다.
• DSTC8(6개 참조) 테스트 세트에서 MSTN은 BLEU-4 점수 0.385, METEOR 0.270, ROUGE-L 0.564, CIDEr 1.073를 기록하며, 다음으로 좋은 모델보다 유의미한 격차로 앞서며 성능을 확보한다.
• 절단 실험 결과, 검색 기반 단어 생성기(MSTN w/o WEAN)를 제거하면 성능 저하가 발생함을 확인하였으며, 이는 핵심 기여임을 입증한다. 예를 들어, BLEU-4는 0.385에서 0.367로 감소한다.
• 모델은 다양한 메트릭에서 우수한 성능 유지를 보이며, 생성된 응답의 의미 일치성과 유창성이 향상됨을 시사한다.
• GloVe와 같은 사전 학습된 임베딩 없이도 모델이 잘 작동함을 확인하여, 어텐션 메커니즘을 통해 학습된 단어 임베딩가 충분하고 효과적임을 시사한다.
• 결과는 어텐션 기반 단어 생성이 디코딩 중 의미 이해를 크게 향상시키며, 기억된 패턴에 대한 의존도를 감소시킴을 입증한다.