[논문 리뷰] Learning-to-Ask: Knowledge Acquisition via 20 Questions

Yihong Chen, Bei Chen외 5명|arXiv (Cornell University)|2018. 06. 22.

Mobile Crowdsensing and Crowdsourcing참고 문헌 25인용 수 9

한 줄 요약

이 논문은 20문제 게임에서 동시에 정보 탐색과 지식 획득을 수행할 수 있도록 하는 학습-질문(Learning-to-Ask, LA) 프레임워크를 제안한다. 이 프레임워크는 딥 강화학습과 일반화된 행렬 분해를 활용하여 에이전트가 효과적인 질문 전략을 학습하도록 한다. 목표 식별과 사실 수집을 동시에 최적화함으로써 높은 승리 비율과 신속하고 정확한 지식 기반 확장 성과를 달성하며, 실험 결과는 전략의 상호 적응을 통한 성능 향상을 보여준다.

ABSTRACT

Almost all the knowledge empowered applications rely upon accurate knowledge, which has to be either collected manually with high cost, or extracted automatically with unignorable errors. In this paper, we study 20 Questions, an online interactive game where each question-response pair corresponds to a fact of the target entity, to acquire highly accurate knowledge effectively with nearly zero labor cost. Knowledge acquisition via 20 Questions predominantly presents two challenges to the intelligent agent playing games with human players. The first one is to seek enough information and identify the target entity with as few questions as possible, while the second one is to leverage the remaining questioning opportunities to acquire valuable knowledge effectively, both of which count on good questioning strategies. To address these challenges, we propose the Learning-to-Ask (LA) framework, within which the agent learns smart questioning strategies for information seeking and knowledge acquisition by means of deep reinforcement learning and generalized matrix factorization respectively. In addition, a Bayesian approach to represent knowledge is adopted to ensure robustness to noisy user responses. Simulating experiments on real data show that LA is able to equip the agent with effective questioning strategies, which result in high winning rates and rapid knowledge acquisition. Moreover, the questioning strategies for information seeking and knowledge acquisition boost the performance of each other, allowing the agent to start with a relatively small knowledge set and quickly improve its knowledge base in the absence of constant human supervision.

연구 동기 및 목표

• 자동 추출에서의 높은 오류율과 수동 코딩의 높은 비용을 감안할 때, 정확한 지식을 저비용으로 획득하는 데 도전하는 것.
• 제한된 질문 라운드 내에서 목표 엔티티를 찾는 정보 탐색과 새로운 사실을 수집하는 지식 획득을 동시에 수행할 수 있는 지능형 에이전트를 설계하는 것.
• 목표 식별에 효율적이고 관련성 있고 가치 있는 사실을 수집하는 데 효과적인 질문 전략을 개발하는 것.
• 베이지안 지식 표현을 통해 노이즈가 있는 인간의 응답에 대한 강건성을 확보하는 것.
• 상호작용을 통해 지식 기반을 자율적으로 개선함으로써 지속적인 인간 감시에 의존도를 낮추는 것.

제안 방법

• LA 프레임워크는 딥 강화학습(DQN 및 DRQN)을 활용하여 최적의 정보 탐색 전략을 학습하며, 시도와 실수를 반복함으로써 승리 비율을 극대화한다.
• 노이즈가 있거나 일관되지 않은 사용자 응답에 대비해 불확실성 추정치를 유지하고 강건성을 향상시키기 위해 베이지안 지식 표현 모델을 사용한다.
• 지식 획득을 위해 LA-GMF 방법은 기존 지식과 불확실성 기반으로 주어진 엔티티에 대해 가장 정보성 있고 관련성이 높은 질문을 식별하는 데 일반화된 행렬 분해를 적용한다.
• 에이전트의 질문 전략은 게임 세션의 피드백을 통해 반복적으로 업데이트되며, 이로써 정보 탐색(IS) 및 지식 획득(KA) 정책을 동시에 개선할 수 있다.
• 질문 임베딩은 딥 신경망을 통해 학습되며, t-SNE를 사용해 시각화하여 의미적으로 유사한 질문들이 임베딩 공간에서 군집되어 있음을 확인한다.
• IS와 KA를 통합하기 위해 지식 획득이 향후 정보 탐색 전략을 향상시키는 피드백 루프를 만들도록 한다.

실험 결과

연구 질문

• RQ1 에이전트는 어떻게 목표 엔티티를 식별하면서도 정확하고 관련성이 높은 사실을 수집할 수 있는 질문을 학습할 수 있는가?
• RQ2 노이즈가 있는 인간 응답 하에서 효율적이고 강건한 정보 탐색을 가능하게 하는 강화학습 방법은 무엇인가?
• RQ3 어떻게 하면 높은 가치의 사실을 우선순위로 삼으면서 관련 없거나 혼란스러운 질문을 피할 수 있는 지식 획득을 효과적으로 모델링할 수 있는가?
• RQ4 정보 탐색 과정에 지식 획득을 통합할 경우, 에이전트의 전체 성능 향상에 어느 정도 기여하는가?
• RQ5 IS와 KA 전략을 함께 학습함으로써 지식 기반의 빠른 확장과 정확한 성장이 달성될 수 있는가?

주요 결과

• LA 프레임워크는 딥 강화학습을 통한 효과적인 정보 탐색 전략 학습으로 인해 20문제 게임에서 에이전트의 승리 비율을 크게 향상시킨다.
• LA-DRQN 에이전트는 t-SNE 시각화 결과를 통해 의미적으로 유사한 질문들이 임베딩 공간에서 군집되어 있음을 보여주며, 의미 있는 질문 표현을 학습함을 입증한다.
• LA-GMF 방법은 불확실성 전용 기반선 대비 더 관련성 있고 가치 있는 지식 획득 질문을 생성하여 낭비되는 질문 기회를 줄인다.
• 에이전트는 초기 지식 기반의 크기가 작더라도 빠른 지식 기반 확장을 달성하며, 높은 품질의 사실을 수집한다.
• IS 및 KA 전략의 상호 적응은 더 빠른 학습을 이끌며, 지식 획득이 IS 정책을 향상시키고, 더 나은 IS가 더 효과적인 KA를 가능하게 한다.
• 실제 데이터를 대상으로 한 실험 결과는 인간의 최소한의 감시로도 에이전트가 높은 성능을 유지할 수 있음을 보여주며, 상호작용 기반 게임을 통한 '제로비용' 지식 획득의 가능성을 입증한다.