[논문 리뷰] Making History Matter: History-Advantage Sequence Training for Visual Dialog

Tianhao Yang, Zheng-Jun Zha외 1명|arXiv (Cornell University)|2019. 02. 25.

Multimodal Machine Learning Applications참고 문헌 47인용 수 13

한 줄 요약

이 논문은 잘못된 이전 대화 기록이 향후 응답에 미치는 영향을 명시적으로 모델링함으로써 시각 대화 응답 생성을 향상시키는 데 중점을 둔 강화학습 영감을 받은 새로운 학습 프레임워크인 히스토리-아드바antaged 시퀀스 트레이닝(HAST)을 제안한다. Gold Reward(GR)와 악성 크리틱(AC) 보상 간의 차이로 계산된 '히스토리-아드바antaged' 신호를 통해 HAST는 모델이 대화 기록에 더 민감하도록 학습시킨다. 이로 인해 VisDial v0.9/v1.0 및 GuessWhat?!에서 SOTA 성능을 달성하였으며, R@1에서 1점 향상되고 MRR에서 1% 향상되었다.

ABSTRACT

We study the multi-round response generation in visual dialog, where a response is generated according to a visually grounded conversational history. Given a triplet: an image, Q&A history, and current question, all the prevailing methods follow a codec (i.e., encoder-decoder) fashion in a supervised learning paradigm: a multimodal encoder encodes the triplet into a feature vector, which is then fed into the decoder for the current answer generation, supervised by the ground-truth. However, this conventional supervised learning does NOT take into account the impact of imperfect history, violating the conversational nature of visual dialog and thus making the codec more inclined to learn history bias but not contextual reasoning. To this end, inspired by the actor-critic policy gradient in reinforcement learning, we propose a novel training paradigm called History Advantage Sequence Training (HAST). Specifically, we intentionally impose wrong answers in the history, obtaining an adverse critic, and see how the historic error impacts the codec's future behavior by History Advantage-a quantity obtained by subtracting the adverse critic from the gold reward of ground-truth history. Moreover, to make the codec more sensitive to the history, we propose a novel attention network called History-Aware Co-Attention Network (HACAN) which can be effectively trained by using HAST. Experimental results on three benchmarks: VisDial v0.9&v1.0 and GuessWhat?!, show that the proposed HAST strategy consistently outperforms the state-of-the-art supervised counterparts.

연구 동기 및 목표

• 기존의 감독 학습 기반 시각 대화 학습 방식은 오직 참값 기록에 의존하여 잘못된 기록이 향후 응답에 미치는 영향을 가르치지 못하는 한계를 해결하기 위해.
• 틀린 답변의 결과를 시뮬레이션하여 공유 기반 해석 및 맥락 인식 능력을 향상시키기 위해 모델의 대화 기록에 대한 민감도를 높이기 위해.
• 단순 감독 학습을 넘어서 오류 인식 학습을 포함한 대화의 상호작용적 특성을 더 잘 반영하는 학습 프레임워크를 개발하기 위해.
• 히스토리-인식 특징을 효과적으로 통합하여 추론 능력을 향상시키기 위해 새로운 어텐션 메커니즘인 히스토리-인식 공-어텐션 네트워크(HACAN)를 설계하기 위해.
• HAST와 HACAN을 결합하여 VisDial 및 GuessWhat?! 벤치마크에서 SOTA 성능을 달성하기 위해.

제안 방법

• HAST는 정답 기록에서의 골드 보상(GR)과 잘못된 답변이 포함된 가짜 기록에서의 악성 크리틱(AC) 보상 간의 차이로 계산되는 새로운 학습 신호인 히스토리-아드바antaged(HA)를 도입한다.
• 모델는 HA를 보상 신호로 사용하여 학습되며, 양의 HA 값은 잘못된 답변이 향후 성능에 심각한 악영향을 미친다는 것을 의미하므로, 정답 응답에 대한 학습을 강화한다.
• 특징 기반 공-어텐션(FCA) 및 요소 기반 공-어텐션(ECA) 모듈을 포함한 히스토리-인식 공-어텐션 네트워크(HACAN)를 제안하여 맥락 내에서 시각적 및 언어적 표현 간의 정렬을 향상시킨다.
• HACAN은 대화 기록에 따라 동적으로 어텐션을 조절하는 히스토리-인식 게이트를 사용하여 맥락 인식 능력을 향상시킨다.
• 학습 과정은 참값 답변이 포함된 대화 스트림과 의도적으로 손상된 답변이 포함된 스트림을 병렬로 유지하여 향후 라운드에서 HA를 계산한다.
• HAST는 순차적-순차적 프레임워크 내에서 종단 간(end-to-end)으로 적용되어 모델이 대화 기록 오류의 장기적 영향을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 참값 감독 외에 잘못된 대화 기록의 영향을 고려하여 학습할 경우 모델의 성능는 어떻게 변화하는가?
• RQ2 틀린 답변의 결과를 명시적으로 학습시킴으로써 모델을 대화 기록에 더 민감하게 만들 수 있는가?
• RQ3 히스토리-아드바antaged 신호는 시각 대화에서 추론 및 공호성 해석 능력 향상에 어느 정도 기여하는가?
• RQ4 제안된 HACAN 아키텍처가 HAST와 함께 결합되었을 때 표준 시각 대화 벤치마크에서 더 나은 성능을 내는가?
• RQ5 대화 기록 오류가 포함된 제로샷 또는 희소샷 설정에서 모델의 일반화 능력은 어떻게 되는가?

주요 결과

• HAST는 공식 VisDial 온라인 챌린지 서버에서 새로운 SOTA 단일 모델 성능을 달성하여 이전 방법들을 압도했다.
• VisDial v1.0에서 HACAN에 HAST를 적용한 결과 R@1이 51.20%로 이전 SOTA보다 1점 향상되었고, 평균 오차는 4.25로 0.28점 감소했다.
• VisDial v0.9에서 모델는 MRR 0.6445와 R@1 51.20%를 기록하여 HCIAE 및 HRED와 같은 기준 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, HAST만으로도 MRR에서 0.5점, R@1에서 1점 이상 향상되었으며, HAST를 적용하지 않은 모델보다 성능 향상이 뚜렷했다.
• GuessWhat?! 추측자 태스크에서 HACAN에 HAST를 적용한 결과 테스트 오차가 33.2%로, LSTM 기반 모델들을 능가했으며 최고의 이전 방법들과 동등한 성능을 달성했다.
• 제거 실험을 통해 HACAN의 FCA 및 ECA 모듈이 모두 필수적임을 확인하였으며, 전체 모델은 HAST 없이 사용한 HACAN 대비 평균 오차를 0.88점 감소시켰다.