[論文レビュー] Deeply Semantic Inductive Spatio-Temporal Learning

Jakob Suchan, Mehul Bhatt+1 more|arXiv (Cornell University)|Aug 9, 2016

Constraint Satisfaction and Optimization参考文献 20被引用数 3

ひとこと要約

本論文は、動的視覚的空間データから関係的時空間構造を学習するための新しい帰納的論理プログラミング（ILP）フレームワークを提案する。このフレームワークは、定性的および定量的空間意味論をネイティブに統合している。システムは、眼動追跡データと動画データから知覚的公理を学習し、映画芸術や認知科学の応用において、対称性や注意のダイナミクスに関する説明可能で宣言的（declarative）な推論を可能にする。

ABSTRACT

We present an inductive spatio-temporal learning framework rooted in inductive logic programming. With an emphasis on visuo-spatial language, logic, and cognition, the framework supports learning with relational spatio-temporal features identifiable in a range of domains involving the processing and interpretation of dynamic visuo-spatial imagery. We present a prototypical system, and an example application in the domain of computing for visual arts and computational cognitive science.

研究の動機と目的

• 動的視覚的空間的画像から空間的・時間的・時空間的関係に基づいた日常的知識を学習するための体系的帰納的論理プログラミングフレームワークの構築を目的とする。
• 認知的および知覚的推論のための論理プログラミング環境内において、定性的および定量的空間データのシームレス統合を可能にする。
• 動画、点群、眼動追跡データなどの現実世界のデータから、宣言的で意味論的に根拠を持つ時空間的公理の学習を支援する。
• 関係的時空間的特徴（例：トポロジー、方向、距離、サイズ）の統一的オントロジーを、ILP学習プロセスに直接埋め込む。
• 映画的シーンから対称性や注意の切り替えといった知覚的パターンを学習することで、認知科学および視覚芸術分野への適用可能性を示す。

提案手法

• フレームワークは、$\mathcal{E}$ が基本的な空間的実体（点、ベクトル、長方形、線分）を定義し、$\mathcal{R}$ が関係的特徴（トポロジー、方向、距離、サイズ）を定義する形式的時空間的オントロジー $\mathcal{O}_{sp} = \langle \mathcal{E}, \mathcal{R} \rangle$ を採用する。
• 空間的関係はILPシステムにネイティブに符号化されており、外部マッピングを必要とせず、定性的および定量的推論のための組み込み意味論を保証する。
• 特定の時刻における時空間的関係を表すために、予約語 $\mathsf{holds\text{-}in/2}$ を使用し、注意の切り替えのような動的変化のモデリングを可能にする。
• 学習は、コンピュータビジョンの出力（例：バウンディングボックス、顔の向き）および眼動追跡データから導出された関係的事実に基づくILPによって実施される。
• 制約論理プログラミングフレームワーク内にプロトタイプシステムを実装し、外部の知識源および推論モジュールとの統合を可能にする。
• 帰納的・帰謬的推論をサポートし、動的シーンにおける知覚的パターンの仮説形成と説明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 外部の意味論マッピングに依存せずに、複雑な時空間的関係（例：対称性、注意のシフト）の意味論を学習フレームワークがどのようにネイティブにサポートできるか。
• RQ2 ILPは、トポロジー的関係を超えて、方向、距離、サイズといった定性的空間構造を視覚的データからどの程度学習できるか。
• RQ3 映画的シーンにおける注意の切り替えを規定する知覚的公理が、宣言的論理ベースのアプローチによって、動的眼動追跡データおよび運動データから学習可能か。
• RQ4 定性的および定量的空間データの混合を、単一の帰納的学習フレームワーク内でどのように一貫して表現・推論できるか。
• RQ5 このようなシステムが、視覚認識および芸術的分析における説明可能で認知的根拠を持つ学習に、実現可能か。

主な発見

• フレームワークは、バウンディングボックスや顔の向きを入力特徴として用いることで、映画的シーンにおけるオブジェクトレベルの対称性といった関係的空間的構造を成功裏に学習した。
• 眼動追跡データから知覚的公理を学習し、人物間の注意の切り替えを動的時空間的関係としてモデリングした。
• 定性的および定量的空間的特徴（例：距離、方向、サイズ）の統合は、ILPフレームワーク内でネイティブにサポートされており、混合推論能力を実現した。
• プロトタイプは、映画の動的シーンや人間の行動追跡データからの知覚的パターン学習において、実用的妥当性を示した。
• 本アプローチは、空間的意味論に基づいた論理的ルールとして解釈可能な、説明可能で宣言的な時空間的ダイナミクスの推論を可能にした。
• 著者らの知る限り、本研究は、トポロジー的関係を超える広範なドメインに依存しない時空間的関係（例：方向、距離、サイズ）をネイティブに意味論を備えてサポートする最初のILPベースのフレームワークである。