[논문 리뷰] A Knowledge Hunting Framework for Common Sense Reasoning

Ali Emami, Noelia De La Cruz외 3명|arXiv (Cornell University)|2018. 01. 01.

Topic Modeling참고 문헌 21인용 수 4

한 줄 요약

이 논문은 문장의 구조에서 타겟팅된 쿼리를 생성하고, 검색 결과에서 관련 증거를 추출하며, 타당성에 따라 가중치를 적용함으로써 동적으로 공통 지식을 검색하고 분류하는 지식 탐색 프레임워크를 제안한다. 이는 명시적 지식 기반 또는 신경망 모델이 포괄하지 못하는 광범위하고 다양한 공통 지식을 보완하는 데 기여한다. 이 시스템은 윈포르드 스키마 챌린지에서 F1 점수 0.51을 기록하여 이전 최고 성능보다 0.21 향상되었으며, 0.5 F1을 초과한 최초의 시스템으로서 의미 있는 성과를 달성했다.

ABSTRACT

We introduce an automatic system that achieves state-of-the-art results on the Winograd Schema Challenge (WSC), a common sense reasoning task that requires diverse, complex forms of inference and knowledge. Our method uses a knowledge hunting module to gather text from the web, which serves as evidence for candidate problem resolutions. Given an input problem, our system generates relevant queries to send to a search engine, then extracts and classifies knowledge from the returned results and weighs them to make a resolution. Our approach improves F1 performance on the full WSC by 0.21 over the previous best and represents the first system to exceed 0.5 F1. We further demonstrate that the approach is competitive on the Choice of Plausible Alternatives (COPA) task, which suggests that it is generally applicable.

연구 동기 및 목표

• 문자 구조 외부의 세계 지식이 필요한 문맥적 모호성(예: 대명사의 핵심 참조, 인과적 관계)을 해결하는 데 초점을 맞춘 자연어 처리(NLP) 분야의 공통 지식 추론 과제를 해결한다.
• 정적 지식 기반 및 신경망 모델이 공통 지식의 광범위성과 다양성을 포괄하지 못하는 한계를 극복한다.
• 웹에서 동적으로 지식을 확보함으로써, 제한된 부분집합이 아닌 전체 윈포르드 스키마 챌린지 문제를 해결할 수 있는 일반 목적의 시스템을 개발한다.
• 이 접근법이 다른 공통 지식 추론 과제, 예를 들어 선택지 중 타당한 대안(Choice of Plausible Alternatives, COPA) 과제로의 일반화 가능성도 입증한다.
• 정보 검색 기반으로 실제 세계의 텍스트 증거를 활용함으로써, 이전 방법보다 윈포르드 스키마 챌린지에서 성능을 향상시킨다.

제안 방법

• 문제의 핵심 실체, 술어, 관계를 포괄하는 의미론적 표현 체계로 입력 문제를 해석한다.
• 구문적 및 의미적 신호를 활용하여 관련성을 향상시킨 타겟팅 쿼리를 체계에서 생성한다.
• 검색 엔진을 통해 후보 지식을 포함하는 웹 스니펫을 검색하고, 자연어 처리 도구를 사용해 파싱 및 필터링한다.
• 구문적 및 의미적 일치도를 기반으로 후보 해결책과의 유사성에 따라 검색된 증거를 분류하고 점수를 매긴다. 이때 타당성에 대한 힌트를 활용한다.
• 다양한 스니펫 간의 증거 강도를 가중 평균 기반의 투표 메커니즘을 적용하여 가장 지지가 강한 선언 또는 대안을 선택한다.
• COPA에 적합하게 프레임워크를 변형하여 각 후보에 대해 이중 쿼리 세트를 생성하고, 검색 결과에 시간적 또는 인과적 순서를 강제 적용한다.

실험 결과

연구 질문

• RQ1 동적 웹 기반 지식 검색이 공통 지식 추론 과제에서 정적 지식 기반 및 신경망 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 실제 세계의 텍스트 증거가 윈포르드 스키마 챌린지에서 모호한 대명사 참조를 얼마나 잘 해결할 수 있는가?
• RQ3 지식 탐색 프레임워크는 COPA와 같은 다른 공통 지식 추론 과제로 효과적으로 일반화될 수 있는가?
• RQ4 쿼리 생성 품질과 결과 필터링이 시스템의 신뢰성 및 성능에 어떤 영향을 미치는가?
• RQ5 정보 검색 기법이 기존 코퍼스에 포함되지 않은 장꼬리형, 암묵적 또는 희귀한 공통 지식을 효과적으로 모델링할 수 있는가?

주요 결과

• 제안된 지식 탐색 프레임워크는 전체 윈포르드 스키마 챌린지에서 F1 점수 0.51을 기록하여 이전 최고 성능보다 0.21 향상되었다.
• 이 시스템은 윈포르드 스키마 챌린지에서 F1 점수 0.5를 초과한 최초의 시스템으로서 성능 향상에 있어 중대한 도약을 보였다.
• COPA 과제에서도 경쟁 가능한 성능을 보였으며, 단순화된 AGQ 방법을 사용해 테스트 세트에서 66.2%의 정확도를 기록하여 일반화 잠재력이 있음을 시사했다.
• 쿼리 확장에 워드넷 동의어를 사용한 결과 COPA에서 성능 향상이 없었고, 오히려 잡음이 발생시킬 수 있어, 동의어 삽입 시 신중한 필터링이 필요함을 시사했다.
• 오해의 소지가 있는 결과는 주로 부족한 쿼리(예: "couldn't lift"와 같은 맥락 누락), 파싱 오류(예: "lift"를 동사로 잘못 식별), 노이즈가 많거나 불완전한 스니펫에서 기인했다.
• 이 프레임워크는 일반적인 세계 지식, 즉 타당성에 관한 지식이 자연어 텍스트에 암묵적으로 포함되어 있음을 보여주며, 이는 추론 과제에 효과적으로 활용될 수 있음을 입증했다.