[논문 리뷰] What Should I Ask? Using Conversationally Informative Rewards for Goal-Oriented Visual Dialog

Pushkar Shukla, Carlos Elmadjian외 4명|arXiv (Cornell University)|2019. 07. 28.

Multimodal Machine Learning Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 이미지 속 객체를 식별하기 위해 전략적이고 맥락에 맞는 질문을 생성하기 위해 강화학습과 함께 정규화된 정보 이득(RIG)을 사용하는 종단간 목표 지향 시각 대화 시스템을 제안한다. 인간의 탐구 방식을 합리적 언어 행위 프레임워크를 통해 모델링함으로써 질문의 관련성은 향상되고 중복은 감소하며, GuessWhat?! 데이터셋에서 기존 최고 성능을 넘어서는 67.19%의 정확도를 달성한다.

ABSTRACT

The ability to engage in goal-oriented conversations has allowed humans to gain knowledge, reduce uncertainty, and perform tasks more efficiently. Artificial agents, however, are still far behind humans in having goal-driven conversations. In this work, we focus on the task of goal-oriented visual dialogue, aiming to automatically generate a series of questions about an image with a single objective. This task is challenging since these questions must not only be consistent with a strategy to achieve a goal, but also consider the contextual information in the image. We propose an end-to-end goal-oriented visual dialogue system, that combines reinforcement learning with regularized information gain. Unlike previous approaches that have been proposed for the task, our work is motivated by the Rational Speech Act framework, which models the process of human inquiry to reach a goal. We test the two versions of our model on the GuessWhat?! dataset, obtaining significant results that outperform the current state-of-the-art models in the task of generating questions to find an undisclosed object in an image.

연구 동기 및 목표

• 이미지 속 객체를 식별하기 위해 전략적이고 맥락 인지 질문을 생성하는 목표 지향 시각 대화 시스템을 개발한다.
• 합리적 언어 행위 프레임워크를 사용해 인간과 유사한 탐구 행동을 모델링하며, 정보 이득과 질문 비용에 중점을 둔다.
• 정규화된 보상 함수를 통해 중복되거나 정보가 없는 질문을 최소화하여 대화의 효율성을 향상시킨다.
• GuessWhat?! 벤치마크에서 기존 베이스라인을 초월하는 정확도와 일관성 확보를 목표로 한다.
• 정보 이득과 비용 정규화를 조합함으로써 더 효과적이고 전략적인 질문 생성이 가능하다는 것을 입증한다.

제안 방법

• 심층 강화학습을 사용해 예상 정규화된 정보 이득(RIG)을 최대화하고 질문 비용을 최소화하는 질문 생성기를 훈련한다.
• 합리적 언어 행위 프레임워크를 영감으로 삼아 정보 이득과 질문 비용을 균형 잡은 새로운 보상 함수를 도입한다.
• 왜곡 계수를 활용한 RIG 기반 손실 함수를 도입하여 동의어 또는 중복 질문을 페널티 처리하고 최적의 전략으로 유도한다.
• 시각적 특징과 대화 이력을 입력으로 사용하는 종단간 아키텍처를 훈련하며, 질문 생성기(QGen), 추측자, 온라인을 포함한다.
• 정책 기반 강화학습을 적용해 질문 생성 정책을 최적화하고, RIG와 표준 정보 이득, 베이스라인 보상 함수를 비교하는 분석 실험을 수행한다.
• 훈련 및 평가에 GuessWhat?! 데이터셋을 사용하며, 일반화 능력을 평가하기 위해 새로운 이미지와 새로운 객체를 포함한 테스트 분할을 적용한다.

실험 결과

연구 질문

• RQ1 인공 에이전트는 어떻게 이미지 속 객체에 대한 불확실성을 효과적으로 줄일 수 있는 목표 지향 질문을 생성할 수 있는가?
• RQ2 사람들은 목표 지향 시각 탐구 과정에서 어떤 전략을 사용하며, 이러한 전략을 계산적으로 모델링할 수 있는가?
• RQ3 질문 비용 모델링과 함께 정규화된 정보 이득을 적용하면 시각 대화 시스템의 일관성과 효율성이 향상되는가?
• RQ4 RIG 기반 훈련은 표준 정보 이득 또는 기존 보상 함수와 비교해 중복 질문을 얼마나 줄일 수 있는가?
• RQ5 종단간 강화학습을 통해 RIG를 적용할 경우, 시각 질문 생성에서 인간과 유사한 전략적 행동을 어느 정도 달성할 수 있는가?

주요 결과

• 제안된 모델은 GuessWhat?! 데이터셋에서 이전 방법을 뛰어넘는 새로운 최고 성능인 67.19%의 정확도를 달성한다.
• RIG를 보상 함수로 사용할 경우, 새로운 이미지에서 표준 정보 이득 대비 정확도가 10.57%p 향상된다.
• 왜곡 계수를 추가하면 RIG를 손실 함수로 사용할 경우 성능이 최대 2.8% 향상된다.
• 모델은 평균적으로 대화당 0.36번의 반복 질문만 생성하며, Strub 등(2017)의 베이스라인 모델의 0.82보다 훨씬 낮다.
• 분석 실험 결과, 정보 이득만으로는 최적의 학습이 불가능하지만, 비용 정규화가 적용된 RIG는 상당한 성능 향상을 이룬다.
• 모델는 전략적 행동과 질문 시퀀스의 상호 일관성을 보이며, 중복되거나 정보가 없는 질의를 피한다.