[論文レビュー] Understanding Natural Language Understanding Systems. A Critical Analysis

Alessandro Lenci|arXiv (Cornell University)|Mar 1, 2023

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文は最近のNLUシステムの批評的分析を提供し、人間に近い言語学習能力を組み込む一方で、解釈と推論における顕著なギャップがあり、それには構造化された知識の統合が必要であると主張します。

ABSTRACT

The development of machines that «talk like us», also known as Natural Language Understanding (NLU) systems, is the Holy Grail of Artificial Intelligence (AI), since language is the quintessence of human intelligence. The brief but intense life of NLU research in AI and Natural Language Processing (NLP) is full of ups and downs, with periods of high hopes that the Grail is finally within reach, typically followed by phases of equally deep despair and disillusion. But never has the trust that we can build «talking machines» been stronger than the one engendered by the last generation of NLU systems. But is it gold all that glitters in AI? do state-of-the-art systems possess something comparable to the human knowledge of language? Are we at the dawn of a new era, in which the Grail is finally closer to us? In fact, the latest achievements of AI systems have sparkled, or better renewed, an intense scientific debate on their true language understanding capabilities. Some defend the idea that, yes, we are on the right track, despite the limits that computational models still show. Others are instead radically skeptic and even dismissal: The present limits are not just contingent and temporary problems of NLU systems, but the sign of the intrinsic inadequacy of the epistemological and technological paradigm grounding them. This paper aims at contributing to such debate by carrying out a critical analysis of the linguistic abilities of the most recent NLU systems. I contend that they incorporate important aspects of the way language is learnt and processed by humans, but at the same time they lack key interpretive and inferential skills that it is unlikely they can attain unless they are integrated with structured knowledge and the ability to exploit it for language use.

研究の動機と目的

• 最先端のNLUシステムが人間のような言語理解を示すかを評価する。
• 現在のNLUパラダイムの認識論的・技術的限界を特定する。
• 現在のシステムが捉える言語能力と欠如しているものを評価する。
• より深い言語使用を可能にする構造化知識の役割を論じる。

提案手法

• 最近のNLUシステムとその言語学習/処理能力の批判的言語分析を行う。
• 計算モデルを文献で論じられている人間の言語習得・処理パターンと比較する。
• 解釈的・推論的能力を達成するために構造化知識の統合が必要であることを主張する。

実験結果

リサーチクエスチョン

• RQ1 現在のNLUシステムは人間と同程度の人間のような言語理解を有しているか。
• RQ2 最先端のNLUシステムにはどのような解釈的または推論的スキルが欠けているか。
• RQ3 ギャップは現在の計算パラダイムの限界によるものか、それとも構造化知識統合の欠如によるものか。
• RQ4 構造化知識の統合とその活用を組み込むことで、NLUシステムの言語使用はどの程度改善され得るか。

主な発見

• NLUシステムは人間の言語学習と処理の重要な側面を組み込んでいる。
• しかし、彼らは重要な解釈的・推論的スキルを欠いている。
• NLUの向上には、構造化知識とそれを言語使用に活用する仕組みとの統合が必要となる可能性がある。