[論文レビュー] From Spatial Relations to Spatial Configurations

Soham Dan, Parisa Kordjamshidi+5 more|arXiv (Cornell University)|Jul 19, 2020

Constraint Satisfaction and Optimization参考文献 21被引用数 6

ひとこと要約

本稿では、自然言語における複雑な空間的関係、注目軸のシフト、動的構成を捉えるために、抽象的意味表現（AMR）を拡張する空間的構成表現言語を提案する。微細な空間的意味をAMRと統合することで、共同ナビゲーションや構築タスクのようなタスクにおけるより表現力が高く、構成的で、現実世界に根ざした表現を可能にし、従来の空間的表現方式よりも大幅にカバー範囲を拡大する。

ABSTRACT

Spatial Reasoning from language is essential for natural language understanding. Supporting it requires a representation scheme that can capture spatial phenomena encountered in language as well as in images and videos. Existing spatial representations are not sufficient for describing spatial configurations used in complex tasks. This paper extends the capabilities of existing spatial representation languages and increases coverage of the semantic aspects that are needed to ground the spatial meaning of natural language text in the world. Our spatial relation language is able to represent a large, comprehensive set of spatial concepts crucial for reasoning and is designed to support the composition of static and dynamic spatial configurations. We integrate this language with the Abstract Meaning Representation(AMR) annotation schema and present a corpus annotated by this extended AMR. To exhibit the applicability of our representation scheme, we annotate text taken from diverse datasets and show how we extend the capabilities of existing spatial representation languages with the fine-grained decomposition of semantics and blend it seamlessly with AMRs of sentences and discourse representations as a whole.

研究の動機と目的

• 既存の空間的表現方式が自然言語における複雑な空間的構成、注目軸のシフト、ネストされた関係を捉えることの限界を克服すること。
• 現実世界の環境における推論と根拠づけをサポートする、一般用途で、ドメインに依存しない空間的表現を開発すること。
• AMRに空間的意味を拡張することで、文や対話における空間的意味を統一的かつ表現力豊かに表現するフレームワークを構築すること。
• Minecraft や NLVR などの多様なデータセットからの空間的指示の自動解析とアノテーションを可能にすること。
• モジュラーで解釈可能な構成を通じて、空間的運動、ランドマーク、基準フレームの構成的モデリングを支援すること。

提案手法

• 空間的関係とオブジェクトの性質を共有のインジケータと役割を通じてリンクされるモジュラー構成要素に分解する空間的構成スキーマを提案する。
• AMRに空間的構成を統合するため、AMRグラフから空間的関係と性質を抽出し、構造的で人間が読みやすい形式に再編成する。
• 識別子、性質、基準フレーム、運動、経路記述子を用いて、空間的実体と構成の関係的表現を定義する。
• 1つの経路に対して複数の基準フレームをサポートする形式的スキーマを設計し、内在的および相対的空間的関係を区別する。
• Minecraft および NLVR コーパスからの現実世界の空間的指示にこのフレームワークを適用し、スケーラビリティと表現力の高さを実証する。
• 自然言語を拡張AMR形式に変換する自動パーサーを訓練し、空間的意味のエンドツーエンド処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ネストされた関係や注目軸のシフトを含む複雑な空間的構成をモデル化するには、空間的表現をどのように拡張できるか？
• RQ2 記号的表現を用いて、空間的意味を現実世界の環境にモジュラーに組み合わせて根拠づけることはどの程度可能か？
• RQ3 統一的な空間的構成スキーマをAMRに統合することで、自然言語における空間的意味のカバー範囲と解釈可能性がどのように向上するか？
• RQ4 提案されたフレームワークは、SpRL や ISO-space といった既存の空間的表現方式に比べて、微細な空間的意味をどの程度うまく処理できるか？
• RQ5 AMRに空間的構成を統合することで、意味表現の表現力と構成的推論にどのような影響を与えるか？

主な発見

• 提案された空間的構成スキーマは、'赤いブロックを青い柱の左にあるイエローブロックの上に置け' といった文における、注目軸のシフトやネストされたランドマークを含む複雑な空間的関係を効果的に表現できる。
• このフレームワークは、複数の基準フレームを伴う経路に沿った運動を表現可能であり、'メルセデスのブロックをNvidiaのブロックの右に移動せよ' といった記述で、明示的な経路と視点追跡が可能である。
• 空間的構成をAMRに統合することで、完全な文の表現の部分グラフとして空間的意味を抽出でき、文の構文的・意味的構造を保持することができる。
• このスキーマは、'密接に接触している' や '上にのっている' といった微細な空間的性質を分解可能にし、内在的および相対的基準フレームを区別できる。
• SpRL や ISO-space といった従来の方式よりも、動的で、複数のランドマークを含み、視点が変化する記述を処理する点で、より高いカバー範囲を達成している。
• Minecraft や NLVR といった多様なデータセットのアノテーションにより、このフレームワークの汎用性と現実世界の空間的推論タスクへの適用可能性が実証された。