[論文レビュー] Semantic Folding Theory And its Application in Semantic Fingerprinting

Francisco De Sousa Webber|arXiv (Cornell University)|Nov 28, 2015

Biometric Identification and Security被引用数 15

ひとこと要約

本論文は、言語的記号をトポグラフィカルな意味的空間を用いてスパースなバイナリーベクトルにマッピングする計算フレームワーク、意味折りたたみ理論（Semantic Folding Theory）を紹介する。この手法により、ブール演算と類似度メトリクスを用いた神経科学的インスピレーションを受ける効率的な言語処理が可能になる。この方法は、統計的NLPの主な限界——計算コストの高さや精度・再現率のトレードオフ——を、ヒエラルヒカル・テンポラル・メモリ（HTM）ネットワークと互換性のある生物学的に妥当なベクトル表現によって、意味的根拠をもって克服する。

ABSTRACT

Human language is recognized as a very complex domain since decades. No computer system has been able to reach human levels of performance so far. The only known computational system capable of proper language processing is the human brain. While we gather more and more data about the brain, its fundamental computational processes still remain obscure. The lack of a sound computational brain theory also prevents the fundamental understanding of Natural Language Processing. As always when science lacks a theoretical foundation, statistical modeling is applied to accommodate as many sampled real-world data as possible. An unsolved fundamental issue is the actual representation of language (data) within the brain, denoted as the Representational Problem. Starting with Jeff Hawkins' Hierarchical Temporal Memory (HTM) theory, a consistent computational theory of the human cortex, we have developed a corresponding theory of language data representation: The Semantic Folding Theory. The process of encoding words, by using a topographic semantic space as distributional reference frame into a sparse binary representational vector is called Semantic Folding and is the central topic of this document. Semantic Folding describes a method of converting language from its symbolic representation (text) into an explicit, semantically grounded representation that can be generically processed by Hawkins' HTM networks. As it turned out, this change in representation, by itself, can solve many complex NLP problems by applying Boolean operators and a generic similarity function like the Euclidian Distance. Many practical problems of statistical NLP systems, like the high cost of computation, the fundamental incongruity of precision and recall , the complex tuning procedures etc., can be elegantly overcome by applying Semantic Folding.

研究の動機と目的

• 自然言語処理における根本的な表現問題に取り組むこと：言語が脳にどのようにエンコードされているか。
• 生物学的に妥当で、計算的に効率的な人工システムにおける意味的意味の表現法を開発すること。
• 統計的NLPの限界、特に高い計算コスト、精度・再現率のトレードオフ、複雑なハイパーパramータチューニングを克服すること。
• HTMアーキテクチャと互換性のあるスパースなバイナリーベクトルを用いて、一般化された意味的データ処理を可能にすること。
• 皮質計算の原則に基づいた言語表現の理論的基盤を確立すること。

提案手法

• 言語の分布的および関係的性質を反映するトポグラフィカルな意味的空間への語のマッピング。
• 事前に定義された基準フレームを用いて、意味の内容を「意味折りたたみ」と呼ばれるプロセスでスパースなバイナリーベクトルにエンコードすること。
• 意味的推論のために、折りたたまれたベクトルに対してブール演算（例：論理積AND、論理和OR）を適用すること。
• 一般化された類似度関数としてのユークリッド距離を用いて、意味的ベクトルを比較すること。
• 特にハワードズのHTM理論を含むヒューマンネクソルの構造を計算の基盤として活用すること。
• 記号的テキストを、明示的で意味的に根拠のあるベクトル表現に変換し、一般化処理を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 脳の意味的エンコードプロセスを模倣する方法で言語を表現できるか？
• RQ2 計算が効率的であることを保証する生物学的に妥当な意味のベクトル表現を構築できるか？
• RQ3 ブール演算と類似度メトリクスが、NLPにおける複雑な統計モデルをどれほど代替できるか？
• RQ4 意味折りたたみは、NLPシステムにおける広範なハイパーパramータチューニングの必要性を排除できるか？
• RQ5 トポグラフィカルな空間における意味的根拠が、言語処理の頑健性と効率性をどの程度向上させるか？

主な発見

• 意味折りたたみにより、記号的言語が意味関係を保持するスパースなバイナリーベクトルに変換可能である。
• 単純なブール演算を用いることで意味的推論が可能となり、複雑な統計モデルへの依存が軽減される。
• スパースなバイナリーベクトルと固定の類似度メトリクスの使用により、計算の効率が顕著に向上する。
• 一貫性があり根拠のある表現を提供することで、統計的NLPに内在する精度・再現率のトレードオフが解消される。
• フレームワークは、ヒエラルヒカル・テンポラル・メモリ（HTM）ネットワークと互換性があり、神経科学的に妥当なアーキテクチャをサポートする。
• 理論は、長年の言語表現の問題である表現問題を、トポグラフィカルで分散型のベクトル空間に意味的根拠を置くことで解決する。