[논문 리뷰] Understanding Natural Language Understanding Systems. A Critical Analysis

Alessandro Lenci|arXiv (Cornell University)|2023. 03. 01.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 최근 NLU 시스템에 대한 비판적 분석을 제시하며, 인간과 같은 언어 학습 능력을 가진 반면 해석 및 추론에 필요한 구조화된 지식 통합이 요구되는 중요한 격차를 지적한다.

ABSTRACT

The development of machines that «talk like us», also known as Natural Language Understanding (NLU) systems, is the Holy Grail of Artificial Intelligence (AI), since language is the quintessence of human intelligence. The brief but intense life of NLU research in AI and Natural Language Processing (NLP) is full of ups and downs, with periods of high hopes that the Grail is finally within reach, typically followed by phases of equally deep despair and disillusion. But never has the trust that we can build «talking machines» been stronger than the one engendered by the last generation of NLU systems. But is it gold all that glitters in AI? do state-of-the-art systems possess something comparable to the human knowledge of language? Are we at the dawn of a new era, in which the Grail is finally closer to us? In fact, the latest achievements of AI systems have sparkled, or better renewed, an intense scientific debate on their true language understanding capabilities. Some defend the idea that, yes, we are on the right track, despite the limits that computational models still show. Others are instead radically skeptic and even dismissal: The present limits are not just contingent and temporary problems of NLU systems, but the sign of the intrinsic inadequacy of the epistemological and technological paradigm grounding them. This paper aims at contributing to such debate by carrying out a critical analysis of the linguistic abilities of the most recent NLU systems. I contend that they incorporate important aspects of the way language is learnt and processed by humans, but at the same time they lack key interpretive and inferential skills that it is unlikely they can attain unless they are integrated with structured knowledge and the ability to exploit it for language use.

연구 동기 및 목표

• 최신 NLU 시스템이 인간과 유사한 언어 이해를 보이는지 평가한다.
• 현행 NLU 패러다임의 인식론적 및 기술적 한계를 식별한다.
• 현 시스템이 어떤 언어 능력을 포착하고 어떤 능력이 누락되는지 평가한다.
• 더 깊은 언어 활용을 가능하게 하는 구조화된 지식의 역할을 논의한다.

제안 방법

• 최근 NLU 시스템과 그들의 언어 학습/처리 능력에 대한 비판적 언어학 분석을 수행한다.
• 문헌에서 논의된 인간의 언어 습득 및 처리 패턴과 계산 모델을 비교한다.
• 해석적 및 추론적 능력을 달성하기 위한 구조화된 지식의 통합 필요성에 대해 주장한다.

실험 결과

연구 질문

• RQ1 현행 NLU 시스템이 인간과 같은 수준의 언어 이해를 인간과 같은 정도로 보유하고 있는가?
• RQ2 최첨단 NLU 시스템에서 어떤 해석적 또는 추론적 능력이 누락되어 있는가?
• RQ3 격차는 현재 계산 패러다임의 한계 때문인가, 아니면 구조화된 지식 통합의 부재 때문인가?
• RQ4 구조화된 지식의 통합과 그 활용이 NLU 시스템의 언어 활용을 어느 정도까지 개선할 수 있는가?

주요 결과

• NLU 시스템은 인간의 언어 학습 및 처리의 중요한 측면을 포함한다.
• 그러나 중요한 해석 및 추론 능력이 부족하다.
• NLU의 향상은 구조화된 지식과 이를 언어 활용에 활용하는 메커니즘의 통합이 필요할 수 있다.