[논문 리뷰] Inferring Logical Forms From Denotations

Panupong Pasupat, Percy Liang|arXiv (Cornell University)|2016. 06. 22.

Natural Language Processing Techniques참고 문헌 25인용 수 13

한 줄 요약

이 논문은 주어진 질문과 디노테이션에 대해 일致하는 모든 논리형식을 효율적으로 열거하기 위해 동적 프로그래밍을 디노테이션에 적용한 방법(DPD)을 제안한다. 이로 인해 WikiTableQuestions에서 커버리지가 53.5%에서 76%로 크게 향상되었다. 잘못된 형식(의도치 않게 정답을 도출하는 형식)을 제거하기 위해 인공적으로 생성된 가짜 세계에서 인류가 제공한 디노테이션을 활용하여, 잘못된 형식을 92.1% 감소시켰으며, 의미적 정확성을 유지했다.

ABSTRACT

A core problem in learning semantic parsers from denotations is picking out consistent logical forms--those that yield the correct denotation--from a combinatorially large space. To control the search space, previous work relied on restricted set of rules, which limits expressivity. In this paper, we consider a much more expressive class of logical forms, and show how to use dynamic programming to efficiently represent the complete set of consistent logical forms. Expressivity also introduces many more spurious logical forms which are consistent with the correct denotation but do not represent the meaning of the utterance. To address this, we generate fictitious worlds and use crowdsourced denotations on these worlds to filter out spurious logical forms. On the WikiTableQuestions dataset, we increase the coverage of answerable questions from 53.5% to 76%, and the additional crowdsourced supervision lets us rule out 92.1% of spurious logical forms.

연구 동기 및 목표

• 디노테이션으로부터 의미 분석기를 학습할 때, 큰 표현력 있는 검색 공간에서 일치하는 모든 논리형식을 열거하는 문제를 해결하기 위해.
• 이전 연구에서 표현력이 제한되는 범위 제한 규칙과 베이즈 서치의 한계를 극복하기 위해.
• 의도치 않게 정답을 도출하는 형식(의미적으로 잘못된 형식)을 제거하기 위해.
• 인공 데이터와 가짜 세계에서의 인간 레이블링된 디노테이션을 활용하여 의미 분석기의 일반화 및 강건성을 향상시키기 위해.
• 정확한 검색과 인공 데이터 기반의 액티브 러닝을 조합하여 의미 분석의 커버리지와 정확도를 향상시키기 위해.

제안 방법

• 정확한 디노테이션을 생성하는 데 필요한 모든 논리형식을 체계적으로 열거하기 위해 디노테이션에 기반한 동적 프로그래밍(DPD)을 사용하여, 제한된 크기까지 완전성을 보장한다.
• 표현력이 풍부하고 일반적인 추론 규칙 세트를 정의하여 이전 연구에서의 표현력 제한을 피한다.
• 원본 지식 소스(예: 위키백과 표)를 변형하여 인공적 '가짜 세계'를 생성하여 논리형식의 강건성을 테스트한다.
• 가짜 세계의 일부에서 인류가 제공한 디노테이션을 수집하여 의미적으로 올바른 논리형식을 식별한다.
• 정보 수확량을 극대화하고 레이블링 비용을 줄이기 위해 가장 정보가 많은 가짜 세계를 선택하는 액티브 러닝 전략을 사용한다.
• 여러 개의 인공 세계에서 인간 레이블링된 디노테이션과 일치하지 않는 논리형식을 거부함으로써 잘못된 형식을 제거한다.

실험 결과

연구 질문

• RQ1 제한적인 규칙 세트에 의존하지 않고, 주어진 질문과 디노테이션에 대해 일치하는 모든 논리형식을 효율적으로 열거할 수 있는가?
• RQ2 의도치 않게 정답을 도출하는 잘못된 형식의 수를 어떻게 줄일 수 있는가?
• RQ3 가짜 세계와 인간 레이블링된 디노테이션은 의미적으로 잘못되었지만 디노테이션이 일치하는 형식의 필터링에 어느 정도 기여하는가?
• RQ4 디노테이션에 기반한 동적 프로그래밍이 베이즈 서치나 규칙 기반 방법에 비해 답변 가능한 질문의 커버리지를 얼마나 크게 향상시키는가?
• RQ5 가짜 세계에서의 액티브 러닝은 레이블링 비용을 줄이면서도 잘못된 형식의 필터링 정확도를 유지하는 데 효과적인가?

주요 결과

• DPD 방법은 WikiTableQuestions에서 답변 가능한 질문의 커버리지를 기존의 베이즈 서치 방법에 비해 53.5%에서 76%로 높였다. 이는 상당한 향상이다.
• 가짜 세계에서의 인류 디노테이션을 활용한 결과, 잘못된 형식의 92.1%가 성공적으로 제거되었으며, 의미적 정확도가 크게 향상되었다.
• 가장 정보가 많은 가짜 세계를 선택하는 액티브 러닝을 사용한 결과, 등가 클래스의 51.3%가 정확히 식별되었으며, 무작위 선택 대비 22.6%에 그쳤다.
• 레이블링 오류가 존재하더라도, 약속된 일치 수를 하나까지 허용할 경우, 91%의 경우에서 정확한 등가 클래스를 유지했다.
• 정확한 등가 클래스의 평균 크기는 약 3,000으로, 의미적으로 동일한 논리형식이 문법적으로 매우 다양한 형태로 존재함을 보여준다.
• 일치 조건을 약간 완화하여 하나의 불일치를 허용할 경우, 정확한 논리형식이 제거될 위험을 3%로 줄였다.