[논문 리뷰] Modeling question asking using neural program generation

Ziyun Wang, Brenden M. Lake|arXiv (Cornell University)|2019. 07. 23.

Multimodal Machine Learning Applications참고 문헌 22인용 수 11

한 줄 요약

이 논문은 인간의 질문 행동을 모델링하기 위해, 질문을 형식적 프로그램으로 표현하는 신경-기호 프레임워크를 제안한다. 이는 지도학습 또는 강화학습을 통해 훈련된 트랜스포머 기반 인코더-디코더 네트워크를 사용한다. 이 방법은 인간과 유사한 창의성과 문맥적 구조를 지닌 다양한 고정보량 질문을 생성하며, 강화학습으로 훈련할 경우 인간의 질문 데이터를 요구하지 않는다.

ABSTRACT

People ask questions that are far richer, more informative, and more creative than current AI systems. We propose a neuro-symbolic framework for modeling human question asking, which represents questions as formal programs and generates programs with an encoder-decoder based deep neural network. From extensive experiments using an information-search game, we show that our method can predict which questions humans are likely to ask in unconstrained settings. We also propose a novel grammar-based question generation framework trained with reinforcement learning, which is able to generate creative questions without supervised human data.

연구 동기 및 목표

• 부분 관찰 가능한 상태에서 정보 탐색 작업(예: 배틀쉽)과 같은 상황에서 인간의 질문 행동을 모델링하는 것.
• 대규모 애너테이션된 데이터셋이 필요한 데이터 기반 신경 질문 생성 모델의 한계를 해결하는 것.
• 질문을 형식적 프로그램으로 생성하는 프레임워크를 개발하여 복합적이고 해석 가능하며 의미적으로 정밀한 질문 합성 가능하게 하는 것.
• 강화학습을 통해 인간의 질문 데이터 없이도 인간과 유사한 패턴을 반영하는 질문을 생성하는 것.
• 예측 정확도(밀도 추정)와 새로운 정보성 질문의 창의적 생성을 모두 평가하는 것.

제안 방법

• 질문을 도메인 특화 언어(DSL)에서 형식적 프로그램으로 표현하여 정밀하고 복합적이며 해석 가능한 질문 생성을 가능하게 한다.
• 부분 관찰 가능한 게임 상태를 고밀도 표현으로 압축하기 위해 컨volutional 신경망(CNN) 인코더를 사용한다.
• 인코딩된 상태를 조건으로 삼아 토큰 단위로 질문 프로그램을 생성하기 위해 트랜스포머 디코더를 활용한다.
• 사전 훈련 단계에서 자동으로 생성된 질문을 활용한 후, 소량의 인간 애너테이션 질문을 사용해 지도학습 방식으로 모델을 훈련한다.
• 기대 정보량(EIG) 기반의 보상 함수를 사용해 강화학습을 적용함으로써 인간의 질문 애너테이션 데이터 없이도 모델을 훈련한다.
• 특정 질문 유형(예: 참/거짓, 숫자, 위치 기반)을 조건부로 생성할 수 있도록 도와주는 문법 유도 디코딩 전략을 도입한다.

실험 결과

연구 질문

• RQ1 신경 프로그램 생성 모델은 제약 없고 부분 관찰 가능한 환경에서 인간이 자주 질문할 가능성이 있는 질문을 예측할 수 있는가?
• RQ2 강화학습 기반 접근법은 인간의 질문 데이터 없이도 창의적이고 인간과 유사한 질문을 생성할 수 있는가?
• RQ3 모델이 생성한 질문이 인간의 질문과 비교해 얼마나 유사한 구조, 다양성, 정보량을 가지는가?
• RQ4 프로그램 표현을 사용할 경우 자연어 생성 대비 질문 생성의 해석 가능성과 품질이 얼마나 향상되는가?
• RQ5 디코딩 과정을 조건부로 설정함으로써 모델은 다양한 질문 유형(예: 참/거짓, 복합 질문)을 탄력적으로 생성할 수 있는가?

주요 결과

• 강화학습 모델은 인간의 시연 데이터 없이도 평균 기대 정보량(EIG)이 0.924에 도달해 높은 정보성임을 보였다.
• 단계 페널티가 없는 강화학습 모델은 가장 높은 다양성과 EIG(92.4%의 질문이 EIG > 0)를 기록했지만, 동시에 의미 없는 질문도 다수 생성했다.
• 0.2의 단계 페널티를 적용한 강화학습 모델은 평균 5.79개 토큰의 질문을 생성했으며, 특히 함선 크기와 방향성에 대해 인간의 질문 패턴과 높은 일치도를 보였다.
• 강화학습 모델과 인간의 상위 10개 빈도 질문은 매우 유사했으며, 둘 다 함선 크기와 방향성에 대한 질문을 선호했다.
• 모델는 "파란 함선의 크기와_PUR플 함선의 크기를 더하면 얼마인가요?" 또는 "모든 파란 색과 보라색 타일의 오른쪽 아래 모서리 칸은 어디에 있나요?"와 같은 새로운 창의적 질문을 생성했으며, 복합적 창의성을 입증했다.
• 문법 유도 디코딩 전략을 통해 모델는 참/거짓, 숫자, 위치 기반 질문 등 특정 질문 유형을 필요에 따라 생성할 수 있었으며, 인간의 질문 행동과 유사한 유연성을 보였다.