[논문 리뷰] Listen, Interact and Talk: Learning to Speak via Interaction

Haichao Zhang, Haonan Yu외 1명|arXiv (Cornell University)|2017. 05. 28.

Speech and dialogue systems인용 수 6

한 줄 요약

이 논문은 교사로부터 자연어 피드백을 받는 다이얼로그 환경에서 에이전트가 동시적으로 모방 학습과 강화 학습을 통해 언어를 습득하는 상호작용형이고 지각 기반 언어 학습 프레임워크를 제안한다. 대화 중 문장 수준의 지도 학습과 보상 신호를 결합함으로써, 구성적이고 분포 외의 설정에서도 강력한 제로샷 일반화와 지식 전이 성능를 달성하며, 순수 모방 학습 또는 순수 강화 학습 기반의 베이스라인을 능가한다.

ABSTRACT

One of the long-term goals of artificial intelligence is to build an agent that can communicate intelligently with human in natural language. Most existing work on natural language learning relies heavily on training over a pre-collected dataset with annotated labels, leading to an agent that essentially captures the statistics of the fixed external training data. As the training data is essentially a static snapshot representation of the knowledge from the annotator, the agent trained this way is limited in adaptiveness and generalization of its behavior. Moreover, this is very different from the language learning process of humans, where language is acquired during communication by taking speaking action and learning from the consequences of speaking action in an interactive manner. This paper presents an interactive setting for grounded natural language learning, where an agent learns natural language by interacting with a teacher and learning from feedback, thus learning and improving language skills while taking part in the conversation. To achieve this goal, we propose a model which incorporates both imitation and reinforcement by leveraging jointly sentence and reward feedbacks from the teacher. Experiments are conducted to validate the effectiveness of the proposed approach.

연구 동기 및 목표

• 정적 데이터셋 지도 학습이 아닌 상호작용을 통한 인간의 언어 습득 방식을 모방하는 지각 기반 언어 학습 프레임워크를 개발하는 것.
• 에이전트가 발화를 생성하고 교사로부터 수정, 확인, 격려 등의 피드백을 통해 개선함으로써 언어를 학습할 수 있도록 하는 것.
• 상호작용 중 문장 피드백과 보상 신호를 모두 활용하여 언어 학습의 일반화 및 전이 성능를 향상시키는 것.
• 학습 중에 접촉하지 않은 물체-위치 조합에 대해 일반화 능력을 평가하는 것.
• 기술파일 피드백에서 유도된 지식을 질문-응답 작업으로 전이할 수 있는지 평가하는 것.
• 모방 학습과 강화 학습을 병행함으로써 단일 방법에 비해 더 나은 언어 습득 성능를 달성할 수 있음을 입증하는 것.

제안 방법

• 에이전트는 두 가지 학습 메커니즘을 사용한다: 정확한 발화를 모방하는 데 사용되는 모방 학습과 피드백 신호(긍정/부정 보상)를 최적화하는 데 사용되는 강화 학습.
• 에이전트는 대화 형식의 환경에서 교사와 상호작용하며 질문이나 진술에 대한 응답을 생성하고, 언어적 피드백과 보상 신호를 동시에 수신한다.
• 피드백에는 수정 응답(예: '북쪽은 아보카도입니다'), 확인(예: '네'), 부정적 피드백(예: '아니요, 오렌지는 서쪽에 있습니다') 등이 포함된다.
• 모델은 문장 수준의 수정에 대한 지도 학습과 보상 기반 최적화를 위한 정책 그래디언트 방법을 융합한 하이브리드 학습 목표를 사용하여 두 유형의 피드백을 통합한다.
• 주의 메커니즘을 활용해 응답 생성 시 에이전트가 어떤 시각적 요소에 집중하고 있는지 시각화함으로써 모델의 해석 가능성 향상.
• 실험은 두 가지 설정에서 수행된다: 구성적 일반화(새로운 물체-위치 조합)와 지식 전이(학습 기간 동안 기술된 물체에 대한 질문에 응답하는 능력).

실험 결과

연구 질문

• RQ1 정적 데이터셋 지도 학습이 아닌 상호작용적 피드백을 통해 에이전트가 자연어를 습득할 수 있는가?
• RQ2 모방 학습과 강화 학습을 병행할 경우, 각각을 별도로 사용할 때보다 언어 습득 성능가 향상되는가?
• RQ3 학습 중에 접촉하지 않은 새로운 물체-위치 조합에 대해 에이전트가 얼마나 잘 일반화할 수 있는가?
• RQ4 기술파일 피드백에서 유도된 지식을 기반으로 기존에 보지 못한 물체에 대한 질문에 응답할 수 있는가?
• RQ5 보류된 물체나 조합을 포함한 제로샷 설정에서도 성능가 유지되는가?

주요 결과

• 제안된 방법은 구성적 일반화 및 지식 전이 설정 모두에서 순수 모방 학습 및 순수 강화 학습 기반의 베이스라인보다 뛰어난 성능를 보였다.
• 보류된 설정(오직 이전에 보지 못한 물체-위치 조합만 테스트)에서 모델은 일관된 성능를 유지하며 강력한 일반화 능력을 입증했다.
• 학습 중에 접촉하지 않은 {물체, 위치} 조합에 대해 모델이 성공적으로 일반화함으로써 강력한 개념 학습 능력을 보였다.
• 테스트 기간 동안 기술된 피드백(예: '서쪽에 오렌지가 있습니다')에서 유도된 지식을 활용해 동일한 물체에 대한 질문에 정확하게 응답함으로써 효과적인 지식 활용 능력을 입증했다.
• 주의 맵을 통해 응답 생성 시 에이전트가 교사의 피드백과 일치하는 시각적 요소에 정확히 집중하고 있음을 확인했다.
• 특히 지식 전이 시나리오에서, 학습 기간 동안 기술된 물체에 대해서만 질문이 오는 제로샷 대화 설정에서도 높은 성공률를 달성했다.