[논문 리뷰] Asking the Difficult Questions: Goal-Oriented Visual Question Generation via Intermediate Rewards

Junjie Zhang, Qi Wu외 4명|arXiv (Cornell University)|2017. 11. 21.

Multimodal Machine Learning Applications참고 문헌 29인용 수 17

한 줄 요약

이 논문은 세 가지 중간 보상—목표달성, 점진적, 정보성—을 사용한 딥 강화학습 기반의 목표 지향형 시각질문 생성 프레임워크를 제안한다. 이는 객체 식별을 가속화하는 간결하고 정보적인 질문을 생성한다. 제안된 방법은 기준 모델 및 최신 기술 모델과 비교해 대화 라운드 수를 줄이고 질문 품질을 향상시켜 GuessWhat?! 벤치마크에서 성공률을 크게 향상시킨다.

ABSTRACT

Despite significant progress in a variety of vision-and-language problems, developing a method capable of asking intelligent, goal-oriented questions about images is proven to be an inscrutable challenge. Towards this end, we propose a Deep Reinforcement Learning framework based on three new intermediate rewards, namely goal-achieved, progressive and informativeness that encourage the generation of succinct questions, which in turn uncover valuable information towards the overall goal. By directly optimizing for questions that work quickly towards fulfilling the overall goal, we avoid the tendency of existing methods to generate long series of insane queries that add little value. We evaluate our model on the GuessWhat?! dataset and show that the resulting questions can help a standard Guesser identify a specific object in an image at a much higher success rate.

연구 동기 및 목표

• 비약속적이거나 반복적인 질문이 아닌, 지능적이고 목표 지향적인 질문 생성의 과제를 해결하기 위해.
• 기존 VQG 방법이 최종 작업 보상에만 의존하고 목표 지향적 최적화가 부족한 한계를 극복하기 위해.
• 중간 보상을 통해 간결하고 점진적이며 정보적인 질문을 명시적으로 장려하는 강화학습 프레임워크를 설계하기 위해.
• 질문 생성을 효율성과 정보성 측면에서 최적화하여 GuessWhat?! 게임에서 객체 식별의 성공률을 높이기 위해.

제안 방법

• 질문자(Questioner)가 대화를 통해 목표 객체를 식별해야 하는 GuessWhat?! 게임 설정 내에서 시각질문 생성을 목표 지향적 작업으로 재정의한다.
• 세 가지 중간 보상 도입: 목표달성(조기 목표 달성에 대한 보상), 점진적(목표 객체에 대한 신뢰도 증가에 대한 보상), 정보성(후보를 구분하는 데 기여하는 질문에 대한 보상).
• 강화학습 에이전트를 활용해 질문 생성을 최적화하며, 보상이 중복되거나 정보가 없는 질문을 피하도록 정책을 설계한다.
• 각 질문 이후 목표 객체를 정확히 식별할 확률을 측정함으로써, 추측자(Guesser) 모델을 활용해 질문 품질을 평가한다.
• 정책 기반 강화학습 방법을 사용해 에이전트를 엔드 투 엔드로 훈련하며, 속도, 명확성, 정보량 증가를 균형 있게 고려한 보상 설계를 한다.
• 각 중간 보상의 기여도를 분리하기 위해 개별 및 병합된 보상으로 에이전트를 훈련하는 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 강화학습 프레임워크 내 중간 보상이 목표 지향형 시각질문 생성의 품질과 효과성에 기여하는가?
• RQ2 점진적 보상과 정보성 보상은 시각 대화에서 객체 식별의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ3 다양한 중간 보상의 조합이 VQG에서 최종 보상 신호만을 사용하는 것보다 우월한가?
• RQ4 VQG 에이전트가 기준 모델 및 최신 기술 모델보다 더 빠르고 정확한 객체 식별을 이끌 수 있는 질문을 생성할 수 있는가?

주요 결과

• 모든 세 가지 중간 보상(목표달성, 점진적, 정보성)을 적용한 제안된 방법이 GuessWhat?! 데이터셋에서 목표 객체 식별 성공률가 가장 높게 기록되었다.
• 목표달성 보상만을 사용한 에이전트가 기준 모델과 최신 기술 모델인 Sole-r를 모두 초월하여, 조기 목표 달성이 더 나은 질문 생성에 강력한 신호임을 시사한다.
• 점진적 보상이 정보성 보상보다 더 큰 기여를 하며, 점진적 경향을 가진 질문을 생성한 성공률가 60.7%로 기록되었고, 기준 모델(50.8%)과 Sole-r(57.3%)보다 높았다.
• 정보성 보상은 고품질 질문(모든 후보에 대해 동일한 답변을 내는 질문이 아닌 것)의 비율을 87.7%로 높였으며, 기준 모델(84.7%)과 Sole-r(86.3%)를 모두 초월했다.
• 인간 실험에서 제안된 에이전트의 질문을 사용한 인간 참가자 중 76%가 목표 객체를 정확히 식별했으며, 기준 모델(52%)과 Sole-r(70%)보다 높은 성과를 기록했다.
• 특히 세 번째 라운드에서 목표를 달성하는 데 더 적은 대화 라운드를 소비함으로써, 더 빠른 수렴과 인간 참가자의 인지 부담 감소를 입증했다.