[論文レビュー] VoxML: A Visualization Modeling Language

James Pustejovsky, Nikhil Krishnaswamy|arXiv (Cornell University)|Oct 5, 2016

Semantic Web and Ontologies参考文献 24被引用数 21

ひとこと要約

VoxML は、3次元視覚的オブジェクト概念（ボクセム）を豊富な語彙的および空間的意味で符号化する意味的モデリング言語であり、自然言語イベントの動的でマルチモーダルなシミュレーションを可能にする。幾何的性質、イベント構造、文脈的環境を統合して、Unity における実行可能で堅牢な可視化を生成し、形式化された状態遷移と意味的構成を通じて言語入力を効果的にシミュレートする。

ABSTRACT

We present the specification for a modeling language, VoxML, which encodes semantic knowledge of real-world objects represented as three-dimensional models, and of events and attributes related to and enacted over these objects. VoxML is intended to overcome the limitations of existing 3D visual markup languages by allowing for the encoding of a broad range of semantic knowledge that can be exploited by a variety of systems and platforms, leading to multimodal simulations of real-world scenarios using conceptual objects that represent their semantic values.

研究の動機と目的

• 既存の3次元可視化言語における意味的豊かさの欠如に応えるために、現実世界のオブジェクト意味、イベント、文脈的関係を符号化すること。
• オブジェクトの性質、イベントダイナミクス、空間的関係を形式的かつ拡張可能なフレームワークでモデル化することで、自然言語入力のマルチモーダルなシミュレーションを可能にすること。
• オブジェクトの状態、遷移、環境的文脈の形式的仕様を通じて、言語的表現の堅牢で実行可能な可視化を支援すること。
• 語彙的意味（例：TELIc役割、クオリア構造）を3次元幾何と運動と統合し、「皿の上に置く」のような行動の正確なシミュレーションを可能にすること。
• 多様な言語的表現のスケーラブルなシミュレーションを可能にする、再利用可能で拡張可能なボクセム（ボクシコン）のライブラリを開発すること。

提案手法

• VoxML は、ISO 標準とジェネリティブ・レキソンの原則に基づく形式的仕様を用い、ボクセムをタイプ、特徴構造、クオリア役割を備えた意味的単位として定義する。
• オブジェクトは、原子的（FORMAL）、準原子的（CONST）、およびイベント的（TELIC/AGENTIVE）構造でモデル化され、文脈的妥当性を保証するためのハビタット制約を含む。
• イベントダイナミクスは、ラベル付き遷移系（LTS）を介してモデル化され、アクションがオブジェクトの位置と性質の構成間の状態遷移を引き起こす。
• 自然言語入力は ClearNLP を用いて解析され、述語項構造に変換され、実行可能となるボクセムの組み合わせにマッピングされる。
• 幾何的制約（例：「皿の上に」）は、オブジェクトの寸法と凹性を用いて評価され、有効な空間的位置が決定される。
• シミュレーションエンジンは、DITL（動的解釈的遷移論理）を用いて状態遷移を実行し、オブジェクトをターゲット位置へ移動させ、Unity で可視化される。

実験結果

リサーチクエスチョン

• RQ1 形式的言語は、動的シミュレーションを可能にするために、3次元オブジェクトの意味的コンテンツとその相互作用をどのように表現できるか？
• RQ2 語彙的意味（例：TELIc役割、クオリア構造）は、幾何的および空間的制約とどのように統合され、正確な可視化レンダリングを可能にするか？
• RQ3 言語的入力に基づいて3次元空間におけるイベントおよびオブジェクト状態の動的進化をモデル化するための形式的メカニズムとして何が必要か？
• RQ4 最小埋め込み空間（MES）とハビタット文脈をどのように定義すれば、シミュレーションにおける意味的および空間的整合性を保証できるか？
• RQ5 単純で再利用可能なボクセムコンポーネントを用いて、複雑な言語的行動を組み合わせて実行可能なフレームワークを構築するにはどうすればよいか？

主な発見

• VoxML は、語彙的意味、幾何的制約、状態遷移を統合することで、自然言語文の実行可能で3次元的な可視化の生成に成功した。
• システムは、「りんごを皿の上に置く」のような行動を、正確な空間的評価と DITL を用いた状態遷移によって機能的にシミュレートした。
• フレームワークは、より単純なボクセムの組み合わせにより複雑な行動を構成でき、ボクシコンが拡張するにつれて拡張性を備える。
• 現在の実装には、500個のオブジェクトボクセムと10個のプログラムボクセムが含まれており、Unity での完全なシミュレーション機能を備えている。
• 文脈的および幾何的推論を用いて、言語的入力からの欠落した空間的・意味的詳細を埋めることで、堅牢なシミュレーションを実現した。
• エピステミック的視点、エージェントの身体性、環境的文脈をシミュレーション空間内に符号化することで、マルチモーダルなシミュレーションを支援した。