[논문 리뷰] Towards a Semantic Information Theory (Introducing Quantum Corollas)

Philip Tetlow, Dinesh Garg외 5명|arXiv (Cornell University)|2022. 01. 14.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 의미를 양자 얽힘을 통해 모델링하는 양자-entangled, 방향성 있는 의미 삼중항을 활용해 양자 정보 이론을 확장하는 새로운 프레임워크인 'Quantum Corollas'를 소개한다. 의미의 denotational semantics와 분포 벡터 표현 방식, 양자 얽힘을 융합함으로써 의미를 유한하게 측정 가능하고 엔트로피를 준수하는 이론으로 정의하며, 이는 의미를 양자 정보 시스템에 통합하는 데 기여한다.

ABSTRACT

The field of Information Theory is founded on Claude Shannon's seminal ideas relating to entropy. Nevertheless, his well-known avoidance of meaning (Shannon, 1948) still persists to this day, so that Information Theory remains poorly connected to many fields with clear informational content and a dependence on semantics. Herein we propose an extension to Quantum Information Theory which, subject to constraints, applies quantum entanglement and information entropy as linguistic tools that model semantics through measures of both difference and equivalence. This extension integrates Denotational Semantics with Information Theory via a model based on distributional representation and partial data triples known as Corolla.

연구 동기 및 목표

• 샤논의 정보 이론에서 오랫동안 부재했던 의미를 양자 정보 프레임워크에 denotational semantics를 통합함으로써 보완하고자 한다.
• 벡터 기반 시스템에서 원시적이고 비원시적인 표현 방식 간의 이원성을 해결하기 위해 축약된, 유도 가능한 의미 원천을 도입하고자 한다.
• 양자 얽힘과 정보 엔트로피를 활용해 의미를 물리적이고 측정 가능한 구조로 모델링함으로써 의미를 물리 이론에 기반화하고자 한다.
• Corolla 구조를 통해 양자 네트워크에서 의미의 형식적이고 그래프 이론적인 표현을 가능하게 하여 향후 양자 지식 표현 및 정보 관리 시스템의 개발을 지원하고자 한다.

제안 방법

• 의미 삼중항의 반쪽을 형성하는 부분 의미 삼중항 $(n, p_{\text{directed}})$ 인 Corolla를 제안하며, 여기서 $n$은 의미 노드이고 $p_{\text{directed}}$는 방향성 있는 술어이다.
• 의미 관계를 양자-얽힌 qusym으로 모델링하며, 얽힘은 차이와 동치성을 모두 코딩함으로써 분산 표현 간의 의미 일관성을 가능하게 한다.
• 양자 측정에서 유도된 밀도 행렬과 오차 밀도 행렬을 활용해 힐베르트 공간 내에서 의미의 불확실성과 의미 정보의 압축을 표현한다.
• 분포 벡터 표현 방식을 사용해 의미 노드와 술어를 공식 온톨로지에 기반화함으로써 양자 프레임워크 내에서의 조합적 의미를 가능하게 한다.
• Corolla가 지식 그래프에서 방향성 간선을 형성하는 그래프 이론적 모델을 도입하며, 얽힘은 의미 일관성을 강제한다.
• 엔트로피 제약 조건을 통해 의미 정보를 측정하며, 오직 유한하게 표현 가능한 의미 구조만 실용적으로 유용하다는 주장을 펼치며, 이는 주기율표의 물리적 한계와 유사하다.

실험 결과

연구 질문

• RQ1 의미를 고전적이고 비물리적인 의미 모델에 의존하지 않고, 양자 정보 이론에 공식적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 형식적 지식 표현에서 양자 얽힘이 개념 간 의미의 동치성과 차이를 모델링하는 데 어떤 역할을 하는가?
• RQ3 벡터 기반 시스템에서 양자-얽힌 표현 방식을 사용해 의미 원천을 축약적으로 정의할 수 있으며, 만약 가능하다면 이들은 제1원리에서 어떻게 도출되는가?
• RQ4 양자 네트워크에서 얽힘과 엔트로피 기반 제약 조건을 활용해 의미 정보를 얼마나 압축하고 지속적으로 유지할 수 있는가?
• RQ5 양자 시스템에서 의미 표현의 물리적 및 이론적 한계는 무엇이며, 이는 엔트로피 법칙과 양자 측정의 법칙과 어떻게 관련되어 있는가?

주요 결과

• Corolla 구조는 의미 노드와 방향성 술어를 조합함으로써 의미 원천의 형식적이고 축약된 표현을 가능하게 하며, 비방향성 의미 삼중항의 반쪽을 형성한다.
• qusym 쌍 간의 양자 얽힘은 의미의 차이와 동치성을 모두 모델링할 수 있는 물리적 메커니즘을 제공하며, 이는 양자 네트워크에서 의미 삼중항의 기초가 된다.
• 양자 측정에서 유도된 오차 밀도 행렬은 의미 정보를 압축하고 저장할 수 있도록 재사용될 수 있으며, 이는 양자 시스템 내에서 의미 콘텐츠의 지속적 저장을 가능하게 한다.
• 의미 정보는 실제로 측정 가능하며 고전적 정보 이론과 상호보완적이며, 그 표현력은 엔트로피와 물리적 제약 조건에 의해 제한된다.
• 이 프레임워크는 양자 정보 이론을 그래프 이론적 의미론으로 확장함으로써, 양자 지식 표현 및 정보 관리 시스템의 개발을 가능하게 한다.
• 의미 표현력에 대한 이론적 한계는 주기율표와 유사하다—무한한 의미 형태는 논리적으로 가능하지만, 실용적으로는 물리적으로 실현 가능한 유한한 집합만이 유용하다.