[論文レビュー] Deep Semantic Abstractions of Everyday Human Activities: On Commonsense Representations of Human Interactions

Jakob Suchan, Mehul Bhatt|arXiv (Cornell University)|Oct 10, 2017

Semantic Web and Ontologies被引用数 3

ひとこと要約

本論文は、RGB-Dセンサデータに根ざした日常的活動における人間-対象相互作用をモデル化するためのディープセマンティックオントロジーを提案する。空間的・時間的常識的推論を基盤として、制約論理プログラミングを用いて時空間的関係を形式化し、認知ロボティクスの文脈で運動および相互作用パターンに関する記述的で説明可能な推論を可能にする。

ABSTRACT

We propose a deep semantic characterization of space and motion categorically from the viewpoint of grounding embodied human-object interactions. Our key focus is on an ontological model that would be adept to formalisation from the viewpoint of commonsense knowledge representation, relational learning, and qualitative reasoning about space and motion in cognitive robotics settings. We demonstrate key aspects of the space & motion ontology and its formalization as a representational framework in the backdrop of select examples from a dataset of everyday activities. Furthermore, focussing on human-object interaction data obtained from RGBD sensors, we also illustrate how declarative (spatio-temporal) reasoning in the (constraint) logic programming family may be performed with the developed deep semantic abstractions.

研究の動機と目的

• 空間と運動に関する常識的知識に裏打ちされた、身体的実装を伴う人間-対象相互作用を表現するためのオントロジー的フレームワークの構築を目的とする。
• 認知ロボティクスおよび説明可能なAIに応用可能な、定性的な時空間的関係（例：接触、継続中、部分的）を形式化することを目的とする。
• CLP(QS) や ASPMT(QS) などの論理プログラミングパラダイムを用いて、動的ビジュアル・スパティアルシーンに関する記述的推論を可能にすることを目的とする。
• 高レベルの概念的表現（行動）と、RGB-Dセンサからの低レベルのセンサモータデータの橋渡しをすることを目的とする。
• 認知言語学および空間認知に根ざした関係学習、帰納的推論、およびシミュレーションを支援することを目的とする。

提案手法

• 人間-対象相互作用の常識的表現に中心を置いた、空間と運動のオントロジカルモデルを設計する。
• RGB-Dセンサデータを用いて、時間経過に伴う3次元関節位置と物体位置を抽出し、時空間的トラックを形成する。
• 観察されたダイナミクスに根ざした、定性的な時空間的関係としての相互作用（例：持ち上げる、渡す、注ぐ）を符号化する。
• 制約論理プログラミング（CLP(QS)）を用いて、時空間履歴および運動パターンに関する記述的推論を実行する。
• 非単調的推論、帰納的説明、関係学習のためのルールベース推論と形式的モデルを統合する。
• 日常的な台所活動のデータセットを用いてフレームワークを検証し、Prologを用いて相互作用シーケンスに対するインタラクティブなクエリ応答を実現する。

実験結果

リサーチクエスチョン

• RQ1 日常的活動における人間-対象相互作用の推論を支援するため、常識的空間的・時間的関係を形式的にモデル化する方法は何か？
• RQ2 空間と運動の深層的セマンティック抽象化は、認知ロボティクスにおいて低レベルのRGB-Dセンサデータにどのように根ざすことができるか？
• RQ3 制約論理プログラミングは、人間-ロボットインタラクションにおける時空間的ダイナミクスに関する記述的で説明可能な推論をどのように実現できるか？
• RQ4 安全な行動と危険な行動を区別するための主要な定性的関係と運動パターンは何か（例：ラップトップの上をカップを渡す）？
• RQ5 このオントロジーは、より複雑な環境における屋内移動および社会的相互作用をサポートするためにどのように拡張可能か？

主な発見

• 提案されたオントロジーは、『接触』『継続中』『部分的』などの定性的な時空間的関係を、形式的かつ機械処理可能な形で人間-対象相互作用を効果的にモデル化している。
• フレームワークは、相互作用シーケンスに対するインタラクティブなクエリベース推論を可能にし、空間的文脈を伴った実装された行動（例：カップを渡す）の検出を可能にしている。
• 空間的・時間的制約に基づき、安全な行動（例：空のカップをラップトップの上に渡す）と危険な行動（例：満タンのカップをラップトップの上に渡す）を区別できる。
• 制約論理プログラミング（CLP(QS)）は、定量的・定性的な推論の融合を効果的にサポートし、整合性の確認と帰納的説明を可能にしている。
• 認知言語学に根ざした関係学習とシミュレーションを支援する。自然言語およびセンサデータからの知識獲得を促進する。
• 本手法は、ROSおよびオープンEASEとExpCog認知ロボティクスフレームワークへの統合を想定した、実世界のロボットプラットフォームへの拡張性を有している。