[논문 리뷰] Interpreting Winograd Schemas Via the SP Theory of Intelligence and Its Realisation in the SP Computer Model

J. Gerard Wolff|arXiv (Cornell University)|2018. 10. 09.

Computability, Logic, AI Algorithms참고 문헌 34인용 수 6

한 줄 요약

이 논문은 SP 지능 이론을 SP 컴퓨터 모델에 구현함으로써, 언어적 특징과 의미 지식 사이의 비연속적 연관성을 활용하여 윈오그라드 스키마(Winograd Schema, WS)의 모호성을 해결할 수 있음을 제안한다. 문법적 구조를 의미 역할에 매핑함으로써 패턴 정렬을 통해, 체계는 맥락적 지식과 일반 지식을 이용해 '그들'과 같은 대명사를 해석함으로써 테스트 케이스에서 정확한 해석을 달성하며, 히وري스틱 기법에 의존하지 않는다.

ABSTRACT

In 'Winograd Schema' (WS) sentences like "The city councilmen refused the demonstrators a permit because they feared violence" and "The city councilmen refused the demonstrators a permit because they advocated revolution", it is easy for adults to understand what "they" refers to but can be difficult for AI systems. This paper describes how the SP System -- outlined in an appendix -- may solve this kind of problem of interpretation. The central idea is that a knowledge of discontinuous associations amongst linguistic features, and an ability to recognise such patterns of associations, provides a robust means of determining what a pronoun like "they" refers to. For any AI system to solve this kind of problem, it needs appropriate knowledge of relevant syntax and semantics which, ideally, it should learn for itself. Although the SP System has some strengths in unsupervised learning, its capabilities in this area are not yet good enough to learn the kind of knowledge needed to interpret WS examples, so it must be supplied with such knowledge at the outset. However, its existing strengths in unsupervised learning suggest that it has potential to learn the kind of knowledge needed for the interpretation of WS examples. In particular, it has potential to learn the kind of discontinuous association of linguistic features mentioned earlier.

연구 동기 및 목표

• 비단순 선택적 제약 조건에 의존하지 않고 통합된 인지적 프레임워크를 통해 윈오그라드 스키마(WS) 문장에서의 모호한 대명사 해석 문제를 다루는 것.
• SP 시스템이 문법, 의미, 세계 지식을 통합함으로써 WS의 해석을 해결할 수 있음을 보여주는 것.
• 언어적 특징 간 비연속적 연관성이 단순 선택적 제약 조건을 초월하여 강력한 해석 해소를 가능하게 함을 보여주는 것.
• 현재의 한계에도 불구하고, SP 프레임워크에서 이러한 지식의 무감독 학습 가능성을 탐색하는 것.
• 자연어 이해에서 일반 지식 추론을 위한 형식적이고 해석 가능한 메커니즘을 제공하는 것.

제안 방법

• SP 시스템은 표면 문법적 구조와 그 뒤에 숨은 의미 역할을 연결하기 위해 SP-패턴의 다중 정렬을 사용한다.
• 각 단어는 표면 형태, 의미, 문법적 범주(예: 'N n3 councilmen COUNCILMEN PEACE_LOVING #N')를 갖는 SP-패턴으로 표현된다.
• 문법적 구조(예: 'the city councilmen refused the demonstrators a permit')는 '주체', '행동', '대상', '목적어' 등의 역할을 갖는 SP-패턴으로 인코딩된다.
• 의미적 구조(예: 'actionA agentA patientA objectA')는 'agnt_a #agnt_a'와 같이 일치 기호를 통해 문법적 패턴과 정렬된다. (예: 'agentA'와 일치함).
• 해석 해소 과정은 특히 대명사와 그 지시 대상어를 연결하는 비연속적 연관성 패턴에 기반하여, 어떤 의미적 해석이 가장 잘 맞는지 평가함으로써 이루어진다.
• 현재 SP 학습 능력이 이러한 지식 획득에 충분하지 않기 때문에, 체계는 사전에 제공된 세계 지식—특히 정치적 역할과 동기에 관한 지식—에 의존한다.

실험 결과

연구 질문

• RQ1 SP 시스템은 문법적 및 의미적 패턴 정렬을 통해 윈오그라드 스키마 항목의 대명사를 어떻게 해석할 수 있는가?
• RQ2 언어적 특징과 의미 역할 사이의 비연속적 연관성이 윈오그라드 스키마의 모호성을 어떻게 해결하는 데 기여하는가?
• RQ3 SP 시스템은 히وري스틱 기법이나 선택적 제약 조건에 의존하지 않고 윈오그라드 스키마 항목을 해석할 수 있는가?
• RQ4 SP 시스템의 현재 무감독 학습 능력이 윈오그라드 스키마 해석에 필요한 일반 지식 획득을 어느 정도 지원할 수 있는가?
• RQ5 SP 프레임워크에서 문법과 의미의 통합이 어떻게 강력하고 해석 가능한 해석 해소를 가능하게 하는가?

주요 결과

• SP 시스템은 비연속적 연관성을 활용한 문법적 및 의미적 패턴 정렬을 통해 세 개의 윈오그라드 스키마 항목에서 대명사를 성공적으로 해석하였다.
• 'The city councilmen refused the demonstrators a permit because they feared violence' 문장에서 'they'는 의미적 타당성과 역할 정렬에 기반하여 시의회 의원들을 가리키는 것으로 해석되었다.
• 'The city councilmen refused the demonstrators a permit because they advocated revolution' 문장에서 시스템은 'they'가 시위자들을 가리키는 것으로 정확히 식별하였다. 이는 의미적 일관성과 패턴 매칭에 기반한다.
• 표면적 공통 사용 빈도 통계에 의존하지 않고, 표면적 공통 사용 빈도 통계에 의존하지 않고, 통합된 문법-의미 패턴 정렬에 기반함으로써 'cheap tricks'나 선택적 제약 조건을 피할 수 있었다.
• SP 시스템은 공유되는 기호적 구조를 통해 문법과 의미를 표현하고 통합함으로써, 모호한 문장에 대한 일관된 해석을 가능하게 하였다.
• 현재 체계는 사전에 존재하는 세계 지식이 필요하지만, 그 아키텍처는 향후 이러한 지식의 무감독 학습 가능성을 강력히 보여준다.