[논문 리뷰] Entropy-Enhanced Multimodal Attention Model for Scene-Aware Dialogue Generation

Kuan-Yen Lin, Chao-Chun Hsu외 2명|arXiv (Cornell University)|2019. 08. 22.

Multimodal Machine Learning Applications참고 문헌 21인용 수 18

한 줄 요약

이 논문은 영상, 대화 기록, 요약문, 캡션을 활용하여 시나리오 인식 대화 생성을 향상시키기 위해 엔트로피 강화 동적 메모리 네트워크(DFN)를 제안한다. DFN의 주의 메커니즘에 엔트로피 정규화를 통합함으로써 모델은 더 정밀하게 관련 영상 세그먼트에 집중하게 되어 AVSD 챌린지에서 주관적 및 객관적 지표 모두에서 베이스라인보다 뛰어난 성능을 달성한다.

ABSTRACT

With increasing information from social media, there are more and more videos available. Therefore, the ability to reason on a video is important and deserves to be discussed. TheDialog System Technology Challenge (DSTC7) (Yoshino et al. 2018) proposed an Audio Visual Scene-aware Dialog (AVSD) task, which contains five modalities including video, dialogue history, summary, and caption, as a scene-aware environment. In this paper, we propose the entropy-enhanced dynamic memory network (DMN) to effectively model video modality. The attention-based GRU in the proposed model can improve the model's ability to comprehend and memorize sequential information. The entropy mechanism can control the attention distribution higher, so each to-be-answered question can focus more specifically on a small set of video segments. After the entropy-enhanced DMN secures the video context, we apply an attention model that in-corporates summary and caption to generate an accurate answer given the question about the video. In the official evaluation, our system can achieve improved performance against the released baseline model for both subjective and objective evaluation metrics.

연구 동기 및 목표

• 주어진 주의 메커니즘에 엔트로피 정규화를 통합하여 다중모달 대화 시스템 내 영상 이해를 향상시키는 것.
• 정확한 응답 생성을 위해 주목할 만한 영상 세그먼트에 모델의 집중력을 높이는 능력을 향상시키는 것.
• 대화 기록, 캡션, 요약문을 보완 모odal로 활용하여 시나리오 인식 응답을 위한 맥락을 풍부화시키는 것.
• 영상 모델링에서 희박한 주의 분포 문제를 해결하기 위해 정보가 풍부하고 집중된 주의를 촉진하는 것.
• 통합된 다중모달 주의 프레임워크를 사용하여 AVSD 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 순차적인 영상 프레임을 모델링하고 위치 정보를 포착하기 위해 주의 기반 GRU를 사용하는 동적 메모리 네트워크(DFN)를 활용한다.
• 주목적을 더 작은, 더 관련성이 높은 영상 세그먼트 집합에 집중시키기 위해 손실 함수에 엔트로피 정규화를 도입한다.
• 영상, 대화 기록, 요약문, 캡션과 같은 다중모달 입력을 주의 메커니즘을 통해 융합하여 응답 생성을 수행한다.
• 복잡한 질문에 대해 여러 추론 단계 동안 관련 정보를 저장하고 검색하기 위해 에피소딕 메모리 모듈을 적용한다.
• 주어진 주의 분포 집중을 향상시키기 위해 교차 엔트로피 손실과 함께 엔트로피 정규화를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 맥락 이해와 응답 품질 향상을 위해 대화 기록을 데이터 증강 자료로 통합한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화는 영상 기반 대화 시스템에서 주의 집중을 향상시킬 수 있는가?
• RQ2 대화 기록, 요약문, 캡션의 포함 여부가 시나리오 인식 대화 생성에서 응답 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 엔트로피 강화 DFN은 AVSD 벤치마크에서 기존 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 영상 모달이 제공될 경우와 생략될 경우에 모델이 더 맥락적으로 정확한 응답을 생성하는가?
• RQ5 성능과 계산 비용의 균형을 고려할 때 최적의 에피소딕 메모리 유닛 수는 얼마인가?

주요 결과

• 제안된 시스템은 AVSD 챌린지에서 주관적 및 객관적 평가 지표 모두에서 공식 베이스라인을 초월하였다.
• 영상 모달의 포함이 응답 품질을 크게 향상시켰으며, 영상이 제공된 경우 모델은 주방으로 장면을 정확히 식별한 반면, 영상 없이 테스트한 경우 거실로 잘못 식별하였다.
• 엔트로피 정규화는 더 집중된 주의 분포를 이끌어내어 모델이 관련 영상 세그먼트에 더 정확히 집중할 수 있도록 하였다.
• 세 개의 에피소딕 메모리 유닛을 사용한 모델는 두 개의 경우에 비해 성능 향상이 미미했지만, 훈련 및 추론 시간이 크게 증가하였다.
• 정성적 분석을 통해 영상이 제공될 경우 모델이 공간적 및 환경적 질문에 대해 더 정보가 풍부하고 맥락적으로 정확한 응답을 생성하는 것으로 확인되었다.
• 모호하거나 일반적인 참조 정답이 포함된 훈련 데이터의 문제에도 불구하고 모델는 효과적인 일반화 능력을 보이며 견고한 성능을 보였다.