[論文レビュー] Measuring semantic complexity

Wlodek Zadrozny|ArXiv.org|May 8, 1995

Natural Language Processing Techniques参考文献 21被引用数 3

ひとこと要約

本論文は、意味オートマトン（有限状態機械）を用いた形式的枠組みを導入し、意味的複雑性を測定するものである。この枠組みは自然言語理解システムにおける複雑性を評価するために適用され、意味的に単純なコンポONENTSから複雑な振る舞いが生じることを示しており、NLPシステムの実装前における複雑性推定を可能にする。

ABSTRACT

We define {\em semantic complexity} using a new concept of {\em meaning automata}. We measure the semantic complexity of understanding of prepositional phrases, of an "in depth understanding system", and of a natural language interface to an on-line calendar. We argue that it is possible to measure some semantic complexities of natural language processing systems before building them, and that systems that exhibit relatively complex behavior can be built from semantically simple components.

研究の動機と目的

• 自然言語理解における意味的複雑性の形式的で測定可能な概念を定義すること。
• 実装前におけるNLPシステムの意味的複雑性を推定する手法を開発すること。
• 複雑な意味的振る舞いが意味的に単純なコンポONENTSから構築可能であることを示すこと。
• 本フレームワークを実世界のシステム、特にカレンダーアプリケーションインターフェースおよび包括的意味理解システムに適用すること。
• 意味処理システムの評価および比較のための理論的基盤を提供すること。

提案手法

• 意味オートマトンを、意味的状態を表す状態と意味の変化を表す遷移を持つ意味理解の形式的モデルとして導入する。
• オートマトンを用いて、前置詞句の解釈などの自然言語処理コンポonentsの意味的行動を表現する。
• 意味的複雑性を意味オートマトン内の状態数および遷移数として定義し、システムの表現的複雑性を反映させる。
• 本フレームワークをオンラインカレンダーへの自然言語インターフェースに適用し、その意味的行動をオートマトンコンポonentsに分解する。
• 形式的で状態ベースの表現を用いて、文法的または語彙的分析を超えた理解の複雑性を定量的に評価する。
• 実装とは独立して複雑性を測定可能であると提唱し、設計段階におけるシステム評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自然言語理解システムにおける意味的複雑性は、実装前にも形式的に測定可能か？
• RQ2 意味オートマトンは、NLPシステムにおける意味的理解の複雑性をどのようにモデル化・定量化できるか？
• RQ3 複雑な意味的振る舞いは、どの程度まで単純な意味的コンポonentsから構築可能か？
• RQ4 オンラインカレンダー・システムへの自然言語インターフェースの意味的複雑性はいかほどか？
• RQ5 前置詞句の理解の複雑性は、オートマトンベースのモデルを用いて形式的に評価可能か？

主な発見

• 意味オートマトンを用いることで意味的複雑性を形式的に測定可能であり、複雑性はオートマトン内の状態数および遷移数によって定義される。
• 本フレームワークにより、実装前における意味的複雑性の推定が可能となり、NLPシステムの初期設計評価を支援する。
• カレンダーインターフェースに見られるような自然言語理解における複雑な振る舞いは、意味的に単純なコンポonentsに分解可能である。
• 本研究では、個々に複雑さが低いコンポonentsからも、高い意味的複雑性を持つシステムを構築可能であることを示しており、構成的スケーラビリティを示唆している。
• 本手法は、文法的または語彙的指標を超えた意味処理システムの比較のための形式的で定量的な基盤を提供する。
• 本アプローチは、実世界のシステム、特に前置詞句の理解および自然言語カレンダーアプリケーションに対して検証され、測定可能な複雑性の差が示された。