[논문 리뷰] Question Asking as Program Generation

Anselm Rothe, Brenden M. Lake외 1명|arXiv (Cornell University)|2017. 11. 16.

Topic Modeling참고 문헌 21인용 수 9

한 줄 요약

이 논문은 인간의 질문을 질문이 주어진 세계 상태에서 답변으로 평가되는 형식적 프로그램으로 간주하는 계산 모델을 제안한다. 질문을 정보성과 단순성에 기반한 확률적 프로그램으로 모델링함으로써, 이 모델은 인간의 질문 빈도를 예측하고 게임 기반 학습 과제에서 기존 데이터를 초월한 창의적인 인간 유사 질문을 생성한다. 이는 인간 행동 예측에서 기존 기준 모델을 능가하며 창의성까지 입증한다.

ABSTRACT

A hallmark of human intelligence is the ability to ask rich, creative, and revealing questions. Here we introduce a cognitive model capable of constructing human-like questions. Our approach treats questions as formal programs that, when executed on the state of the world, output an answer. The model specifies a probability distribution over a complex, compositional space of programs, favoring concise programs that help the agent learn in the current context. We evaluate our approach by modeling the types of open-ended questions generated by humans who were attempting to learn about an ambiguous situation in a game. We find that our model predicts what questions people will ask, and can creatively produce novel questions that were not present in the training set. In addition, we compare a number of model variants, finding that both question informativeness and complexity are important for producing human-like questions.

연구 동기 및 목표

• 자연어 질문의 풍부함과 창의성을 반영하는 인간 질문 행동의 계산 모델을 개발하는 것.
• 질문 생성을 가능한 질문들의 조합적 공간에서 확률적 프로그램 합성으로 공식화하는 것.
• 정보성과 복잡성이 함께 인간의 질문 선호도를 모호한 학습 맥락에서 예측할 수 있는지 평가하는 것.
• 학습 데이터에 존재하지 않는 새로운, 의미적으로 일관된 질문을 생성함으로써 창의성과 관련성의 증명하는 것.
• 인간의 개방형, 목표 지향적 질문 행동을 예측 가능한 인지 모델로 제공하는 것.

제안 방법

• 질문은 가능한 세계 상태에서 실행되었을 때 답변(예: 참/거짓, 숫자, 집합)을 반환하는 형식적 프로그램으로 모델링된다.
• 확률적 프로그램 합성 프레임워크는 에너지 기반 모델을 사용하여 정보성(기대 정보 수득량으로 측정)과 복잡성(프로그램 길이)에 기반해 프로그램에 확률을 할당한다.
• 모델은 논리 연산, 집합 조작, 산술 연산, 게임 상태(예: 선박 크기, 색상, 위치)에 대한 속성 질의를 지원하는 조합적 문법을 사용한다.
• 추론은 프로그램 공간에서 가중치 기반 샘플링을 통해 수행되며, 답변 분포 유사성에 기반해 중복되거나 동일한 질문은 거부된다.
• 모델 파라미터는 게임 기반 정보 탐색 과제에서 관찰된 인간 질문의 가능도를 최대화하도록 훈련된다.
• 모델 평가는 예측된 질문 빈도를 인간 데이터와 비교하고, 훈련 세트에 포함되지 않은 새로운 질문을 생성함으로써 평가된다.

실험 결과

연구 질문

• RQ1 형식적 프로그램 생성 프레임워크는 인간이 모호한 학습 시나리오에서 어떤 질문을 할지 예측할 수 있는가?
• RQ2 정보성과 복잡성이 함께 인간의 질문 선택에 어떻게 영향을 미치는가?
• RQ3 모델은 훈련 데이터에 존재하지 않는 새로운, 의미적으로 의미 있는, 맥락에 적절한 질문을 생성할 수 있는가?
• RQ4 정보성, 복잡성, 질문 유형을 忽시하는 변형 모델과 비교해 모델의 성능은 어떻게 되는가?
• RQ5 모델는 질문의 유용성과 인지적 노력 사이의 인지적 상충 관계를 어느 정도 반영하는가?

주요 결과

• 정보성과 복잡성을 모두 포함한 전체 모델은 예측된 질문 빈도와 인간 질문 빈도 간 상관계수 0.78을 기록했으며, 이는 기준 모델을 유의미하게 능가했다.
• 희소한 인간 데이터 조건에서도 모델의 성능은 탄탄했으며, 정보성이나 복잡성을 忽시한 모델보다 뛰어났다. 각각 상관계수 0.65와 -0.36를 기록했다.
• 모델은 네 가지 게임 맥락에서 다섯 개의 새로운 인간 유사 질문을 성공적으로 생성했으며, 복잡한 다중 부분 질문인 '파란 선박과_PURPLE_선박이 접촉하고 빨간 선박과 PURPLE_선박이 접촉하지 않는가(또는 그 반대인가)?' 와 같은 질문을 포함했다.
• 모델이 생성한 질문 중 인간 질문과 의미적으로 동일한 경우는 12%에 불과했으며, 이는 강력한 신규성과 창의적 다양성을 시사한다.
• 질문 빈도와 기대 정보 수득량(EIG) 간 유의미한 상관관계는 없었으며, 이는 복잡성과 기타 요소가 인간 행동을 모델링하는 데 필수적임을 시사한다.
• 의미적 일관성, 정보성, 단순성의 조합이 단일 요소에 의존하는 모델보다 더 정확하고 창의적인 질문 생성을 가능하게 한다는 점을 입증했다.