[논문 리뷰] Interactive Language Learning by Question Answering

Xingdi Yuan, Marc-Alexandre Côté외 5명|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 46인용 수 12

한 줄 요약

이 논문은 상호작용 기반 텍스트 환경을 통해 절차적 지식에 중점을 두는 새로운 기계적 읽기 이해(MRC) 과제인 QAit를 소개한다. 여기서 에이전트는 자연어 명령을 통해 환경을 탐색하고 정보를 수집하여 질문에 답해야 한다. 실험 결과, 인간은 이 과제를 쉽게 해결하지만, 표준 모델들은 패턴 매칭에 의존하기 때문에 실패함을 확인하였으며, 이는 부분적으로 관찰 가능한 동적 환경에서 정보 탐색 행동을 학습하는 데에 있어 도전 과제임을 시사한다.

ABSTRACT

Humans observe and interact with the world to acquire knowledge. However, most existing machine reading comprehension (MRC) tasks miss the interactive, information-seeking component of comprehension. Such tasks present models with static documents that contain all necessary information, usually concentrated in a single short substring. Thus, models can achieve strong performance through simple word- and phrase-based pattern matching. We address this problem by formulating a novel text-based question answering task: Question Answering with Interactive Text (QAit). In QAit, an agent must interact with a partially observable text-based environment to gather information required to answer questions. QAit poses questions about the existence, location, and attributes of objects found in the environment. The data is built using a text-based game generator that defines the underlying dynamics of interaction with the environment. We propose and evaluate a set of baseline models for the QAit task that includes deep reinforcement learning agents. Experiments show that the task presents a major challenge for machine reading systems, while humans solve it with relative ease.

연구 동기 및 목표

• 기존의 정적이고 완전히 관찰 가능한 문서에 의존하는 MRC 과제의 한계를 해결하고, 얕은 패턴 매칭을 유도하는 것을 방지하기 위해.
• 에이전트가 부분적으로 관찰 가능한 환경을 탐색하고 상호작용함으로써 인간과 유사한 정보 탐색 행동을 모델링하는 과제를 개발하기 위해.
• 정적 문서-텍스트 매핑을 암기하는 것이 아니라, 순차적 상호작용을 통해 증거를 수집하는 효과적인 전략을 학습할 수 있는지 평가하기 위해.
• 기본 지식 추출이 아닌 절차적 지식—특히 정보 수집 과정—에 중점을 두는 벤치마크를 만들기 위해.
• 통제된 텍스트 기반 환경에서 추론, 탐색, 명령 생성이 필요한 과제를 통해 기존 모델과 강화학습 에이전트를 도전하기 위해.

제안 방법

• QAit 과제는 다양한 부분적으로 관찰 가능한 환경을 랜덤한 레이아웃, 물체 배치, 속성을 가진 텍스트 기반 게임 생성기(TextWorld)를 사용하여 구축한다.
• 에이전트는 자연어 명령(예: '북쪽으로 이동', '빨간 고르그를 가져오기')을 내보내 환경과 상호작용하며, 각 동작 후 텍스트 피드백을 수신한다.
• 환경는 모든 필요한 정보가 한 번에 제공되지 않도록 설계되어 있어, 에이전트가 여러 턴에 걸쳐 탐색하고 증거를 수집해야 한다.
• 기본 모델로는 QAit 환경에서 미세조정된 딥 강화학습 에이전트(Rainbow 등)를 사용하며, 질문-답변 정확도를 극대화하도록 훈련한다.
• 에이전트가 질문-답변 매핑을 암기하는 것이 아니라 관련 증거를 수집하는지 확인하기 위해, 충분한 정보 보너스를 프록시 지표로 사용한다.
• 재현 가능성을 보장하고 상호작용 기반 언어 학습 및 절차적 추론 분야의 추가 연구를 가능하게 하기 위해 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 QAit에서 훈련된 모델들이 정적 패턴 매칭에 의존하는 대신, 여러 상호작용을 거쳐 효과적으로 탐색하고 증거를 수집하는 데 성공할 수 있는가?
• RQ2 정적 패턴 매칭에 의존하는 표준 딥 강화학습 에이전트가 부분적으로 관찰 가능한 환경에서 절차적 지식과 정보 탐색이 요구되는 과제에서 어떻게 성능을 내는가?
• RQ3 한정된 훈련 환경에서 고정된 정확도를 달성하더라도, 모델이 질문-답변 매핑에 과적합하는 정도는 어느 정도인가?
• RQ4 내재적 동기 또는 중간 보상이 QAit에서 장기적인 정보 수집 절차 학습에 도움이 되는가?
• RQ5 환경의 구조와 템플릿 기반 언어의 사용이 에이전트의 일반화 능력과 견고성에 어떤 영향을 미치는가?

주요 결과

• 딥 강화학습 에이전트, 특히 Rainbow를 포함한 표준 모델들은 제한된 훈련 게임에서는 높은 질문-답변 정확도를 달성하지만, 새로운 환경으로의 일반화에 실패한다.
• 높은 QA 정확도에도 불구하고 단일 게임 훈련에서는 충분한 정보 보너스가 거의 0에 가까운데, 이는 에이전트가 질문-답변 매핑에 과적합되어 증거를 수집하는 법을 배우지 못했음을 시사한다.
• QAit 과제는 기존의 MRC 및 강화학습 시스템에 큰 도전 과제를 제기한다. 부분 관찰성과 동적 환경으로 인해 단순한 단어 매칭 전략은 실패한다.
• 인간은 QAit 과제를 상대적으로 쉽게 해결함으로써, 인간과 유사한 정보 탐색 행동과 현재 모델의 능력 사이의 격차를 드러낸다.
• 이 과제는 정적 문서-텍스트 매핑을 암기하는 대신 추론과 탐색 절차를 학습하는 모델 개발을 장려한다.
• 결과적으로, QAit에서 장기적인 정보 수집 과제를 학습시키기 위해서는 조밀한 보상 또는 중간 단계의 지도가 필요할 수 있음을 시사한다.