[논문 리뷰] On the Possibilities and Limitations of Multi-hop Reasoning Under Linguistic Imperfections

Daniel Khashabi, Erfan Sadeqi Azer외 3명|arXiv (Cornell University)|2019. 01. 08.

Natural Language Processing Techniques참고 문헌 44인용 수 12

한 줄 요약

이 논문은 언어적 노이즈 하에서 자연어 이해의 다단계 추론의 한계를 분석하기 위한 형식적 프레임워크를 제안한다. 이는 명확한 개념적 의미와 노이즈가 있는 언어적 표현 간의 격차를 모델링한다. 심지어 간단한 그래프 기반 연결성 문제에서도, 단계 수가 로그적으로 증가할 경우 어휘-의미 기반의 누적 노이즈로 인해 추론 시스템이 본질적으로 불가능한 결과를 초래함을 증명한다. 이는 복잡한 추론을 개선하기 전에 더 풍부한 표현을 확보해야 한다는 점을 시사한다.

ABSTRACT

Systems for language understanding have become remarkably strong at overcoming linguistic imperfections in tasks involving phrase matching or simple reasoning. Yet, their accuracy drops dramatically as the number of reasoning steps increases. We present the first formal framework to study such empirical observations. It allows one to quantify the amount and effect of ambiguity, redundancy, incompleteness, and inaccuracy that the use of language introduces when representing a hidden conceptual space. The idea is to consider two interrelated spaces: a conceptual meaning space that is unambiguous and complete but hidden, and a linguistic space that captures a noisy grounding of the meaning space in the words of a language---the level at which all systems, whether neural or symbolic, operate. Applying this framework to a special class of multi-hop reasoning, namely the connectivity problem in graphs of relationships between concepts, we derive rigorous intuitions and impossibility results even under this simplified setting. For instance, if a query requires a moderately large (logarithmic) number of hops in the meaning graph, no reasoning system operating over a noisy graph grounded in language is likely to correctly answer it. This highlights a fundamental barrier that extends to a broader class of reasoning problems and systems, and suggests an alternative path forward: focusing on aligning the two spaces via richer representations, before investing in reasoning with many hops.

연구 동기 및 목표

• 자연어 표현에서의 언어적 불완전성—모호성, 중복, 불완전성, 부정확성—을 형식적으로 정량화하기 위해.
• 기호 기반 문제를 숨겨진 명확한 의미 공간과 노이즈가 있는 언어 공간 간의 사상으로 모델링하기 위해.
• 이 프레임워크 내에서 다단계 추론의 본질적 한계를 조사하기 위해, 특히 개념적 그래프에서의 연결성 문제에 중점을 두고.
• 의미 그래프에서 경로 존재 여부를 판단하기 위해 언어적 그래프에서 추론하는 추론 시스템이, 단계 수가 로그적으로 증가할 경우 신뢰할 수 없이 작동할 수 있음을 입증하기 위해.
• 다단계 작업을 위한 추론 아키텍처를 발전시키기 전에 표현의 정밀도를 향상시켜야 한다는 주장을 펼치기 위해.

제안 방법

• 숨겨진 명확한 개념적 의미 공간과 불완전한 어휘 기반 연결을 반영하는 노이즈가 있는 언어 공간이라는 두 가지 상호연관된 공간을 정의하기 위해.
• 랜덤 그래프 과정을 통해 언어적 노이즈를 모델링하기: 언어 그래프가 의미 그래프의 랜덤 변형이며, 진짜 간선에 대한 확률은 $p_+$, 가짜 간선에 대한 확률은 $p_-$이다.
• 의미 그래프에서의 연결성(경로 존재 여부)을 판단하기 위해 언어 그래프에서의 추론으로서 추론을 형식화하기 위해.
• 스펙트럼 그래프 이론을 사용하여 언어 그래프와 의미 그래프의 인접행렬 간의 $L_2$-노름을 유계화하고, 이가 $\tfrac{\text{$\mathcal{B}$}(1)}{\text{근접 영역 크기}}$ 비례함을 보여주기 위해.
• 확률론적 농도 경계(예: 보조정리 28)를 적용하여 $n$이 증가함에 따라 $\tfrac{\text{오차}}{\text{신호}}$가 임의로 작아짐을 보여주며, 이는 올바른 경로와 잘못된 경로를 구분하는 데 실패함을 의미함.
• 지표 함수를 연속적이고 리프시츠 조건을 만족하는 함수로 분해하고 임계값 처리를 통해 노이즈 하에서 추론의 강건성을 형식화하기 위해.

실험 결과

연구 질문

• RQ1 모호성, 부정확성, 불완전성 등의 언어적 결함이 자연어 이해에서 다단계 추론을 얼마나 심각하게 약화시키는가?
• RQ2 노이즈가 있는 언어 표현을 기반으로 하는 추론 시스템이 많은 단계를 요구하는 개념적 그래프의 연결성 문제를 신뢰성 있게 해결할 수 있는가?
• RQ3 그래프 크기와 함께 로그적으로 증가하는 추론 단계 수가 증가할 경우, 추론 정확도의 이론적 한계는 무엇인가?
• RQ4 단계 수가 증가함에 따라 언어 표현의 신호 대 노이즈 비율은 어떻게 악화되는가?
• RQ5 특히 장거리 경로에 대해, 의미 그래프의 랜덤 변형인 언어 그래프에서 정확한 추론 결과를 달성하는 것이 가능한가?

주요 결과

• 의미 그래프에서 중간 크기의(로그적 수준의) 단계 수가 요구될 경우, 노이즈가 있는 언어 그래프에서 작동하는 어떤 추론 시스템도 질의에 신뢰성 있게 답할 수 없다. 이는 신호의 약화로 인한 것이다.
• 인접행렬 차이의 오차 대 신호 비율은 $\frac{\lambda\mathcal{B}(1)}{\sqrt{2\lambda n\log(\lambda n)}}$ 이하로 유계화되며, $n$이 증가함에 따라 이 비율은 0으로 수렴한다. 이는 본질적인 비신뢰성을 시사한다.
• 심지어 $\tilde{d} \in \Omega(\log(\lambda n))$ 이더라도, 언어 그래프에서의 $\tilde{d}$-근접 영역은 거의 확실히 전체 그래프를 커버하지만, 노이즈로 인해 연결성 추론이 실패한다.
• 이 프레임워크는 기저 집합이 열려 있거나 닫혀 있지 않을 경우, 지표 함수(예: 경로 존재 여부)가 연속적이고 리프시츠 조건을 만족하는 함수로 강건하게 근사될 수 없다는 점을 입증하며, 이는 위상학적 장벽을 드러낸다.
• 실험 결과는 고 $p_-$ (노이즈 비율)일 경우, 언어 그래프와 의미 그래프 간의 거리 간 상관관계가 낮은 노이즈 수준에서만 강하게 나타남을 확인하며, 이는 이론적 신호 대 노이즈 붕괴를 뒷받침한다.
• 본 연구는 지식 기반 또는 문맥 임베딩 등을 통해 표현의 정밀도를 향상시키는 것이, 다단계 추론 시스템을 개선하기 전에 필수적인 전제 조건임을 확립한다.