[論文レビュー] Visual Affordance and Function Understanding: A Survey

Mohammed Hassanin, Salman Khan+1 more|arXiv (Cornell University)|Jul 18, 2018

Anomaly Detection Techniques and Applications参考文献 161被引用数 43

ひとこと要約

視覚的アフォーダンスと機能理解の総合的な調査。検出、分類、セグメンテーション、推論、データセット、課題、将来の方向性を網羅。

ABSTRACT

Nowadays, robots are dominating the manufacturing, entertainment and healthcare industries. Robot vision aims to equip robots with the ability to discover information, understand it and interact with the environment. These capabilities require an agent to effectively understand object affordances and functionalities in complex visual domains. In this literature survey, we first focus on Visual affordances and summarize the state of the art as well as open problems and research gaps. Specifically, we discuss sub-problems such as affordance detection, categorization, segmentation and high-level reasoning. Furthermore, we cover functional scene understanding and the prevalent functional descriptors used in the literature. The survey also provides necessary background to the problem, sheds light on its significance and highlights the existing challenges for affordance and functionality learning.

研究の動機と目的

• 視覚的アフォーダンスと機能理解を定義し、それらがロボットビジョンとシーン理解にとって重要である理由を動機づける。
• アフォーダンス検出、分類、セグメンテーション、推論、およびアフォーダンスベースの活動理解における最先端手法を要約する。
• 将来の視覚的アフォーダンス研究を指針とするデータセット、課題、および研究ギャップについて論じる。
• アフォーダンス手掛かりが物体認識、シーン解釈、ヒューマン-ロボット相互作用を強化する方法を強調する。

提案手法

• 2014年から2017年までの視覚的アフォーダンスと機能理解に関する文献をレビュー・統合する。
• 手法をサブ問題ごとに分類する：アフォーダンス検出、分類、意味的ラベリング、推論。
• 従来の記述子と深層学習アーキテクチャを含む特徴設計と特徴学習のアプローチを論じる。
• 堅牢なアフォーダンス学習のための課題と多源特徴融合の考慮事項を示す。

実験結果

リサーチクエスチョン

• RQ1 視覚的アフォーダンス学習と機能理解における中核的タスクとサブ問題は何か？
• RQ2 アフォーダンスを検出・分類・セグメンテーション・推論するために使用されたデータセット、手法、特徴は何か？
• RQ3 視覚的アフォーダンスと機能理解における主要な課題と未解決の研究ギャップは何か？
• RQ4 アフォーダンスは活動認識や社会的理解といった高次のタスクにどのように情報を提供できるか？

主な発見

• アフォーダンス学習は物体、行為、効果を統合し、従来の検出を超えたより豊かなシーン理解を可能にする。
• 深層学習アプローチはアフォーダンス検出とセグメンテーションに適用され、しばしばマルチラベル出力を伴う物体検出として扱われる。
• 照明、遮蔽、視点、尺度、変形、およびマルチラベル/マルチオブジェクト設定（SOMLとMOML）を含む複数の課題が依然として存在する。
• いくつかの研究はエンドツーエンドのアーキテクチャを用いて物体とアフォーダンスを同時に検出し、訓練の効率と性能を向上させる。
• 本調査はアフォーダンス学習を、行動予測、活動認識、社会的に配慮のあるシーン理解の要として位置づける。