[논문 리뷰] On the Capabilities and Limitations of Reasoning for Natural Language Understanding.

Daniel Khashabi, Erfan Sadeqi Azer외 3명|arXiv (Cornell University)|2019. 01. 08.

Natural Language Processing Techniques참고 문헌 32인용 수 17

한 줄 요약

이 논문은 자연어 이해(NLU)에서 추론 한계를 분석하기 위해 은닉된 명확한 개념적 의미 공간과 잡음이 있는 언어 기호 공간을 연결하는 형식적 프레임워크를 제안한다. 이는 다단계 추론이 로그 수준을 초월할 경우 누적된 잡음으로 인해 실패함을 증명하며, 언어 모델에서 복잡한 추론에 대한 근본적인 장벽을 드러낸다.

ABSTRACT

Recent systems for natural language understanding are strong at overcoming linguistic variability for lookup style reasoning. Yet, their accuracy drops dramatically as the number of reasoning steps increases. We present the first formal framework to study such empirical observations, addressing the ambiguity, redundancy, incompleteness, and inaccuracy that the use of language introduces when representing a hidden conceptual space. Our formal model uses two interrelated spaces: a conceptual meaning space that is unambiguous and complete but hidden, and a linguistic symbol space that captures a noisy grounding of the meaning space in the symbols or words of a language. We apply this framework to study the connectivity problem in undirected graphs---a core reasoning problem that forms the basis for more complex multi-hop reasoning. We show that it is indeed possible to construct a high-quality algorithm for detecting connectivity in the (latent) meaning graph, based on an observed noisy symbol graph, as long as the noise is below our quantified noise level and only a few hops are needed. On the other hand, we also prove an impossibility result: if a query requires a large number (specifically, logarithmic in the size of the meaning graph) of hops, no reasoning system operating over the symbol graph is likely to recover any useful property of the meaning graph. This highlights a fundamental barrier for a class of reasoning problems and systems, and suggests the need to limit the distance between the two spaces, rather than investing in multi-hop reasoning with many hops.

연구 동기 및 목표

• 자연어 이해 시스템에서 언어 기호와 그 뒤에 있는 개념적 의미 사이의 격차를 형식화하기 위해.
• 언어 표현의 잡음이 다단계에 걸쳐 추론 정확도에 미치는 영향을 분석하기 위해.
• 자연어 이해 시스템에서 추론의 이론적 한계를 규명하기 위해.
• 기호 언어를 통한 추론이 은닉된 개념적 그래프의 성질을 신뢰성 있게 복원할 수 있는 조건을 규명하기 위해.
• 다단계 추론이 본질적으로 신뢰성 없어지는 시점을 명시하는 형식적 경계를 설정하기 위해.

제안 방법

• 은닉된 명확한 개념적 의미 공간과 언어를 나타내는 잡음이 있는 언어 기호 공간을 상호 관련된 두 공간으로 도입하기 위해.
• 의미 그래프에서 유도된 기호 그래프에 대한 추론으로서 추론을 모델링하고, 제어된 수준의 잡음을 가진다.
• 프레임워크의 예측을 테스트하기 위해 그래프 연결성 문제를 핵심 추론 문제로 사용하기 위해.
• 허용 가능한 최대 잡음 수준을 단계 수에 따라 정량화하기 위해.
• 불가능성 결과를 증명하기 위해: 의미 그래프에서 로그 수준의 단계가 필요한 추론에서는 어떤 시스템도 의미 성질을 신뢰성 있게 복원할 수 없다.
• 다단계 추론의 가능성을 분석하기 위해 프레임워크를 적용하고, 그래프 연결성을 테스트 케이스로 사용하기 위해.

실험 결과

연구 질문

• RQ1 어떤 조건에서 잡음이 있는 언어 기호를 통한 추론이 은닉된 개념적 의미 공간의 성질을 복원할 수 있는가?
• RQ2 추론 단계 수(단계 수)가 자연어 이해 시스템의 추론 신뢰도에 어떤 영향을 미치는가?
• RQ3 다단계 작업에서 정확한 추론을 허용하는 최대 잡음 수준은 무엇인가?
• RQ4 형식적 프레임워크는 다단계 추론이 본질적으로 불가능해지는 순간을 예측할 수 있는가?
• RQ5 언어 기반 시스템이 도달할 수 있는 추론 깊이의 이론적 한계는 무엇인가?

주요 결과

• 언어 표현의 누적된 잡음으로 인해 단계 수가 증가할수록 추론 정확도가 크게 떨어진다.
• 고품질의 알고리즘이 잡음 수준이 정량화된 임계값 이하이고 단순한 몇 단계의 추론이 필요한 경우 의미 그래프의 연결성을 탐지할 수 있다.
• 질의가 의미 그래프의 크기에 대해 로그 수준의 단계가 필요한 경우, 어떤 추론 시스템도 유용한 성질을 신뢰성 있게 복원할 수 없다.
• 알고리즘의 정교함과는 무관하게 이 불가능성 결과는 유지되며, 이는 깊은 다단계 추론에 대한 근본적인 장벽을 시사한다.
• 프레임워크는 언어 기반 시스템에서 추론 깊이와 잡음 내성 사이의 중요한 트레이드오프를 규명한다.
• 결과는 많은 단계를 포함하는 다단계 추론에 투자하는 것은 성공할 가능성이 낮으며, 시스템은 추론 거리를 제한해야 한다는 시사점을 제공한다.