[논문 리뷰] Generative Visual Dialogue System via Adaptive Reasoning and Weighted Likelihood Estimation

Heming Zhang, Shalini Ghosh외 5명|arXiv (Cornell University)|2019. 02. 26.

Multimodal Machine Learning Applications참고 문헌 28인용 수 7

한 줄 요약

이 논문은 가중 가능도 추정(WLE)과 적응형 다중모달 추론 모듈을 사용하여 응답의 다양성과 맥락 적합성을 향상시키는 생성형 시각 대화 시스템을 제안한다. 훈련 중에 긍정적 및 부정적 응답을 모두 통합하고, 관련 있는 이미지 및 대화 특징을 동적으로 선택함으로써, 모델은 VisDial 벤치마크에서 이전의 생성형 방법 대비 Recall@10을 5.81% 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The key challenge of generative Visual Dialogue (VD) systems is to respond to human queries with informative answers in natural and contiguous conversation flow. Traditional Maximum Likelihood Estimation (MLE)-based methods only learn from positive responses but ignore the negative responses, and consequently tend to yield safe or generic responses. To address this issue, we propose a novel training scheme in conjunction with weighted likelihood estimation (WLE) method. Furthermore, an adaptive multi-modal reasoning module is designed, to accommodate various dialogue scenarios automatically and select relevant information accordingly. The experimental results on the VisDial benchmark demonstrate the superiority of our proposed algorithm over other state-of-the-art approaches, with an improvement of 5.81% on recall@10.

연구 동기 및 목표

• 최대가능도추정(MLE)의 한계를 해결하기 위해, 빈도가 높은 답변에 과적합되어 일반적이거나 안전한 응답을 생성하는 생성형 시각 대화 시스템의 문제를 다루기.
• 표준 MLE에서 부정적 응답을 무시하는 것과는 달리, 훈련 중에 긍정적 및 부정적 응답을 모두 활용하여 응답의 다양성과 관련성을 향상시키기.
• 고정된 순차적 경로에 의존하는 것과는 달리, 현재 대화 맥락에 따라 다중모달 입력(이미지, 질문, 대화 이력)의 처리 순서를 동적으로 적응시키는 추론 모듈 설계하기.
• 생성형과 판별형 시각 대화 모델 간의 성능 격차를 줄이기 위해 생성된 응답의 품질과 다양성을 향상시키기.
• v0.9 및 v1.0 평가 설정 모두에서 VisDial 벤치마크에서 최신 기술 수준의 성능을 입증하기, 특히 Recall 및 평균 순위 지표에서

제안 방법

• 긍정적 및 부정적 응답을 기반으로 샘플별 가중치를 할당하는 가중 가능도 추정(WLE) 훈련 기법을 제안하여 모델의 일반화 능력을 향상시키고 일반적인 답변에 대한 과도한 의존도를 줄이기.
• 현재 맥락에 따라 관련 있는 이미지 영역, 질문, 대화 이력을 동적으로 선택하고 집중하는 비제한적 어텐션 기반의 적응형 다중모달 추론 모듈을 도입하기.
• ResNet 및 사전 훈련된 언어 모델의 특징을 사용하여 이미지 및 텍스트 입력을 표현하는 계층적 인코더-디코더 아키텍처와 WLE 훈련 기법을 통합하기.
• 디코더에서 이중 어텐션 메커니즘을 사용하여 이미지 특징과 대화 이력을 모두 참조함으로써 맥락 인식 기반의 응답 생성 가능하게 하기.
• 응답 품질과 다양성을 고려한 학습된 가중치 함수에서 유도된 샘플 가중치를 사용하여 교차 엔트로피 손실을 기반으로 모델을 엔드 투 엔드로 훈련하기.
• WLE와 적응형 추론 모듈의 기여도를 검증하기 위해 MLE, GAN, 표준 HCIAE 기반 모델과의 비교를 통한 분석 연구(아블레이션 스터디) 수행하기.

실험 결과

연구 질문

• RQ1 표준 MLE와 비교하여 훈련 중에 부정적 응답을 통합함으로써 생성형 시각 대화 시스템에서 응답의 다양성과 특이성 향상이 가능한가?
• RQ2 다중모달 입력의 처리 순서를 동적으로 선택하는 적응형 추론 메커니즘이 복잡한 대화 상황에서 고정 순서 추론 방식을 능가하는가?
• RQ3 가중 가능도 추정(WLE) 훈련 기법이 Recall@10 및 평균 순위와 같은 지표에서 생성형 시각 대화 성능을 크게 향상시킬 수 있는가?
• RQ4 표준 평가 프로토콜에 따라 VisDial 벤치마크에서 제안된 방법이 최신 기술 수준의 생성형 및 판별형 모델과 비교해 어떻게 성능을 내는가?
• RQ5 모델 성능가의 추론 모듈과 훈련 목표 간의 상호 의존도는 어느 정도이며, 두 구성 요소가 각각 독립적으로 검증 가능한가?

주요 결과

• 제안된 WLE 기반 훈련 기법은 VisDial v0.9에서 이전 최고의 생성형 모델(CoAtt) 대비 Recall@10을 5.81% 향상시키고 평균 순위를 5.28점 향상시켰다.
• VisDial v1.0에서 모델는 10개 모델 중 6위를 기록하여, 상위 10위 안에 포함된 유일한 생성형 모델로서 강력한 성능과 일반화 능력을 입증하였다.
• 아블레이션 연구 결과, WLE는 HCIAE 기반 모델에 적용했을 때 MLE 대비 Recall@10을 6.35% 향상시키고 GAN 대비 4.04% 향상시키며, 적대적 훈련보다도 뛰어난 효과를 보였다.
• 적응형 추론 모듈은 고정 순서 기반 기반 모델(예: HCIAE) 대비 Recall@5에서 1.47%, Recall@10에서 3.47%, 평균 순위에서 5.08점 향상시켜 맥락 인식 추론의 영향력을 입증하였다.
• 정성적 결과 분석에서 모델는 MLE보다 더 구체적이고 인간다운 응답을 생성하는 것으로 나타났으며, 어텐션 히트맵을 통해 관련 있는 이미지 영역에 맥락 기반으로 동적으로 집중하는 것을 확인할 수 있었다.
• v0.9에서 R@1 점수가 낮은 것은 평가 체계가 단일 인간 레이블링 응답을 선호하기 때문이며, 모델는 다수의 정답 응답을 높은 순위로 랭킹하는 데서 뛰어난 성능을 보이며, 이는 상위 10개 응답 분석을 통해 검증되었다.