[논문 리뷰] Interactive Reinforcement Learning for Object Grounding via Self-Talking

Yan Zhu, Shaoting Zhang외 1명|arXiv (Cornell University)|2017. 12. 02.

Multimodal Machine Learning Applications참고 문헌 9인용 수 10

한 줄 요약

이 논문은 대화 내 시각적 개체 기반 작업을 위한 상호작용 강화학습(IRL) 프레임워크를 제안한다. 질문 생성기, 답변 모델, 추측자 모두 공유 보상 함수를 통해 공동으로 훈련된다. 이 방법은 작업 성공률을 크게 향상시켜 GuessWhat?! 벤치마크에서 82.9%에 도달했으며, 언어 이탈 문제를 완화하고 생성된 대화의 해석 가능성을 높이기 위해 보상 설계를 도입한다.

ABSTRACT

Humans are able to identify a referred visual object in a complex scene via a few rounds of natural language communications. Success communication requires both parties to engage and learn to adapt for each other. In this paper, we introduce an interactive training method to improve the natural language conversation system for a visual grounding task. During interactive training, both agents are reinforced by the guidance from a common reward function. The parametrized reward function also cooperatively updates itself via interactions, and contribute to accomplishing the task. We evaluate the method on GuessWhat?! visual grounding task, and significantly improve the task success rate. However, we observe language drifting problem during training and propose to use reward engineering to improve the interpretability for the generated conversations. Our result also indicates evaluating goal-ended visual conversation tasks require semantic relevant metrics beyond task success rate.

연구 동기 및 목표

• 질문 생성기, 답변 모델, 추측자 모두 공동 최적화되는 보다 상호작용적이고 협업적인 훈련 프레임워크를 개발하기 위해.
• 이전 방법들이 질문 생성기만 미세조정하고 나머지 모델은 고정해 놓는 한계를 해결하기 위해.
• 상호작용 강화학습 과정에서 발생하는 언어 이탈 문제—생성된 대화가 해석 불가능해지는 현상—을 완화하기 위해.
• 작업 성공률을 저하시키지 않으면서도 보상 설계를 통해 생성된 대화의 해석 가능성을 향상시키기 위해.
• 목표 종료형 시각 대화 시스템 평가에 있어 작업 성공률만으로는 부족하며, 의미적 품질 지표가 필수적임을 입증하기 위해.

제안 방법

• 동적 환경에서 강화학습을 통해 공통 보상 함수를 사용해 질문 생성기, 답변 모델, 추측자를 공동으로 훈련한다.
• 다양한 정책을 반영하기 위해 훈련 중 동적으로 업데이트되는 파arameterized 추측자 모델을 보상 함수로 사용한다.
• 대화의 장거리 추론을 향상시키기 위해 전역 도트-곱 어텐션을 적용한 seq2seq 모델을 질문 생성기로 구현한다.
• 히우리스틱 프루닝을 통한 보상 설계: 반복적인 표현이나 근접한 중복 시퀀스를 포함한 질문을 제거하여 자연스러운 언어 패턴을 강제한다.
• 추론 시 다항분포 샘플링을 적용하고, Adam 옵tim자(초기 학습률 1e-4, 배치 크기 64)를 사용해 모델을 미세조정한다.
• 훈련 안정화와 기준 성능 달성을 위해 강화학습으로 미세조정하기 전에 모델을 지도학습으로 사전 훈련한다.

실험 결과

연구 질문

• RQ1 질문 생성기, 답변 모델, 추측자를 모두 공동으로 훈련하는 상호작용 강화학습이 이전 방법에 비해 시각 기반 작업의 성공률을 크게 향상시킬 수 있는가?
• RQ2 상호작용 훈련 과정에서 언어 이탈 현상은 어느 정도 발생하며, 생성된 대화의 해석 가능성에 어떤 영향을 미치는가?
• RQ3 비자연스럽거나 중복된 대화 단계를 제거하는 보상 설계 기법이 생성된 대화의 가독성과 의미적 품질을 향상시킬 수 있는가?
• RQ4 작업 성공률만으로는 목표 종료형 시각 대화 시스템을 평가하기에 충분한가, 아니면 추가적인 의미적 지표가 필요한가?
• RQ5 질문 생성기만 훈련하는 것에 비해 질문 생성기, 답변 모델, 추측자를 함께 훈련할 경우 답변 품질과 일관성은 어떻게 향상되는가?

주요 결과

• 제안된 IRL QAG 모델은 GuessWhat?! 벤치마크에서 82.9%의 작업 성공률을 달성하여 이전 최고 성능인 60.3%를 크게 초월했으며, 인간 수준 성능(84.4%)에 가까워졌다.
• IRL QAG 모델은 심각한 언어 이탈을 보이며, 인간 평가자에 의해 59.0%의 답변이 인간 판단과 일치하지 않아 AI 생성 언어와 자연어 간 의미적 격차가 있음을 시사한다.
• 프루닝을 통한 보상 설계(IRO-prune QAG)는 질문의 해석 가능성을 향상시켜 평균 질문 품질 순위를 4.98에서 3.53으로 끌어올렸지만, 약간의 작업 성공률 감소(81.3%)를 수반한다.
• IRL QAG의 답변 모델은 '예' 또는 '아니요'가 더 적절한 경우조차도 'n/a' 응답을 더 많이 생성하여 언어 이탈으로 인한 답변 품질 저하를 보였다.
• 답변 모델과 추측자를 함께 훈련한 IRL AG는 질문 생성기만 훈련하는 것보다 더 나은 답변 품질을 보였으며, 질문 정책과 답변 정책 간의 보다 우아한 일치를 의미한다.
• 인간 평가 결과, 상호작용 RL로 훈련된 모델이 자연어보다 해석이 덜 되는 대화를 생성함을 확인했으며, 이는 작업 성공률 외에 의미 평가 지표가 반드시 필요함을 시사한다.