[논문 리뷰] Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog

Jiaping Zhang, Tiancheng Zhao외 1명|arXiv (Cornell University)|2018. 05. 08.

Multimodal Machine Learning Applications참고 문헌 29인용 수 14

한 줄 요약

이 논문은 작업 지향적 시각 대화를 위한 다중모달 계층 강화 학습 프레임워크를 제안한다. 이 프레임워크는 다중모달 대화 상태 표현과 계층적 대화 정책을 동시에 학습한다. 주요 정책가 시각과 언어를 통합하여 질문하기 또는 이미지 추측하기 동작 중에서 선택하고, 상태 적응을 통해 맥락 인식 능력을 향상시킴으로써, 노이즈가 많고 실제 환경과 유사한 조건에서도 67.3%의 승리 비율과 평균 16.68회 대화 회수를 기록하며 기존의 기준들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Creating an intelligent conversational system that understands vision and language is one of the ultimate goals in Artificial Intelligence (AI)~\cite{winograd1972understanding}. Extensive research has focused on vision-to-language generation, however, limited research has touched on combining these two modalities in a goal-driven dialog context. We propose a multimodal hierarchical reinforcement learning framework that dynamically integrates vision and language for task-oriented visual dialog. The framework jointly learns the multimodal dialog state representation and the hierarchical dialog policy to improve both dialog task success and efficiency. We also propose a new technique, state adaptation, to integrate context awareness in the dialog state representation. We evaluate the proposed framework and the state adaptation technique in an image guessing game and achieve promising results.

연구 동기 및 목표

• 다중모달(시각 및 언어) 상호작용으로부터 효율적으로 학습하는 작업 지향적 시각 대화 시스템을 개발하는 것.
• 시각-언어 대화에서 큰 동적 상태-행동 공간 문제를 해결하기 위해 계층 강화 학습을 사용하는 것.
• 맥락 인식 다중모달 상태 표현을 통합하여 대화 효율성과 성공률을 향상시키는 것.
• 질문과 답변이 자동으로 생성되는 노이즈가 많고 실제 환경과 유사한 조건에서의 강인성을 평가하는 것.
• 상태 적응과 보상 형태 조정이 정책 학습 향상에 기여하는지 입증하는 것.

제안 방법

• 주요 정책가 질문하기(언어적) 또는 이미지 추측하기(시각적) 작업 중에서 선택하는 계층 강화 학습(HRL) 프레임워크를 페더럴 RL의 영감을 받아 구현한다.
• 질문 선택을 위한 큰 이산 행동 공간을 처리하기 위해 심층 강화 관련 네트워크(DRRN)를 사용하여 상태-행동 쌍의 Q-값을 계산한다.
• 주요 정책가가 작업을 선택한 후, 기본 행동 선택(질문 또는 이미지)을 위해 심층 Q-네트워크(DQN)를 적용한다.
• 다양한 시각적 맥락을 통합하여 다중모달 대화 상태 표현을 동적으로 업데이트함으로써 맥락 인식 능력을 향상시키기 위해 상태 적응을 도입한다.
• 학습 안정성 향상과 데이터 효율성 향상을 위해 더블 DQN과 우선순위 경험 재생을 구현한다.
• 노이즈가 많은 환경에서 더 빠르고 정확한 이미지 식별을 유도하기 위해 보상 형태 조정을 적용한다.

실험 결과

연구 질문

• RQ1 계층 강화 학습 프레임워크가 작업 지향적 시각 대화를 위한 다중모달 대화 정책을 효과적으로 학습할 수 있는가?
• RQ2 상태 적응은 다중모달 대화 시스템에서 맥락 인식 능력과 작업 성능을 어떻게 향상시키는가?
• RQ3 질문과 답변이 사전 훈련된 모델에 의해 자동 생성되는 노이즈가 많고 실제 환경과 유사한 조건에서도 제안된 프레임워크가 성능을 유지하는 정도는 어느 정도인가?
• RQ4 보상 형태 조정의 통합은 복잡한 대화 과제에서 학습 효율성과 성공률을 향상시키는가?
• RQ5 대화 성공률과 대화 회수 효율성 측면에서 계층적 아키텍처는 평탄한 정책 학습 대비 어떤가?

주요 결과

• 제안된 HRL+SAR 프레임워크는 질문과 답변이 자동으로 생성되는 가장 도전적인 실험 환경에서 67.3%의 승리 비율과 평균 16.68회 대화 회수를 기록하며 기존 기준들보다 뚜렷하게 뛰어난 성능을 보였다.
• 상태 적안만으로도 자동 질문-답변 설정에서 승리 비율을 44.8%에서 48.3%로 향상시키고 평균 대화 회수를 18.84회에서 18.77회로 감소시켰다.
• 보상 형태 조정을 추가로 적용함으로써 노이즈가 많고 난이도가 높은 환경에서 승리 비율을 67.3%로 높이고 평균 대화 회수를 16.68회로 감소시켰다.
• 프레임워크는 질문과 답변이 모두 사전 훈련된 모델에 의해 자동 생성되는 노이즈가 많은 환경에서도 강인성을 유지하며 높은 성능을 기록했다.
• 제거 실험을 통해 상태 적응이 동적 시각적 맥락을 통합함으로써 대화 상태 표현을 크게 향상시킨다는 것이 확인되었다.
• 계층적 아키텍처는 특히 높은 노이즈와 불확실성 조건에서 평탄한 정책 기반 모델 대비 더 빠른 수렴과 더 높은 작업 완료 비율을 달성했다.