[論文レビュー] Steps Towards a Theory of Visual Information: Active Perception, Signal-to-Symbol Conversion and the Interplay Between Sensing and Control

Stefano Soatto|arXiv (Cornell University)|Oct 10, 2011

Advanced Vision and Imaging参考文献 155被引用数 36

ひとこと要約

本論文は、能動的知覚、信号-記号変換、およびセンシングと制御の相互作用を統合する視覚的情報処理の理論的枠組みを提案する。ノイズ要因を考慮した意思決定を最適化するため、標準化された特徴量と制御された探索戦略を導入し、認識およびナビゲーションのためのタスク最適かつ損失なしの表現を達成する。

ABSTRACT

This manuscript describes the elements of a theory of information tailored to control and decision tasks and specifically to visual data. The concept of Actionable Information is described, that relates to a notion of information championed by J. Gibson, and a notion of "complete information" that relates to the minimal sufficient statistics of a complete representation. It is shown that the "actionable information gap" between the two can be reduced by exercising control on the sensing process. Thus, senging, control and information are inextricably tied. This has consequences in the so-called "signal-to-symbol barrier" problem, as well as in the analysis and design of active sensing systems. It has ramifications in vision-based control, navigation, 3-D reconstruction and rendering, as well as detection, localization, recognition and categorization of objects and scenes in live video. This manuscript has been developed from a set of lecture notes for a summer course at the First International Computer Vision Summer School (ICVSS) in Scicli, Italy, in July of 2008. They were later expanded and amended for subsequent lectures in the same School in July 2009. Starting on November 1, 2009, they were further expanded for a special topics course, CS269, taught at UCLA in the Spring term of 2010.

研究の動機と目的

• 物理的および知覚的制約下で視覚的意思決定を最適分類問題として形式化すること。
• データ処理不等式が示唆するように、信号-記号変換のパラドックスを解消し、標準化された特徴量が行動可能な情報をどのように保持するかを示すこと。
• 能動的知覚を制御理論と統合し、不確実性を低減する目的指向の視覚的探索を可能にすること。
• 照明、視点、運動などのノイズ要因を考慮した、特徴検出および記述子設計の原則的アプローチを開発すること。
• 画像レベルの顕著性とシーンレベルのナビゲーションのギャップを、制御されたセンシングおよび動的探索戦略によって埋めること。

提案手法

• 画像形成を形式化し、シーンの放射率と観測強度を結びつけるためにLambert-Ambient (LA) モデルを用いる。
• 信号次元を低減しつつ意思決定に必要な情報を保持するため、マージナル化と極値化（max-out）を適用する。
• ノイズ要因（例：剛体運動、照明）の最適変換を介して標準化された特徴量を導入し、不変性と完全性を達成する。
• リーブ図とモース理論を用いて画像およびシーン内のトポロジカル構造を表現し、頑健なセグメンテーションと特徴検出を可能にする。
• 奥行を考慮した視覚的探索者を構築し、遮蔽検出と記憶機能を活用して認識を支援する能動的センシングをガイドする。
• 時間歪みと動的制約を統合して時間的系列をモデル化し、非剛体または動的シーンにおける認識を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ処理不等式が示唆するように、信号-記号変換を劣化するのではなく最適化するにはどうすればよいか？
• RQ2 ある視覚的意思決定タスクに対して、特徴表現が十分かつ完全であることを保証する形式的条件は何か？
• RQ3 視覚的探索をどのように設計すれば、不確実性を能動的に低減し、認識性能を向上させることができるか？
• RQ4 照明、視点などのノイズ要因が意味のあるシーン構造から分離される背後にある数学的構造は何か？
• RQ5 時間的に変化する視覚的情報を、制御および認識に必要な情報を保持したまま、どのように圧縮・表現できるか？

主な発見

• 最適なノイズマージナル化を介して導出された標準化された特徴量は、すべての行動可能な情報を保持しており、後続の分類タスクにおいて最適である。
• センシングと制御の相互作用により、遮蔽や曖昧な環境においても、受動的観察よりも優れた能動的探索が可能になる。
• 遮蔽検出と短視近的探索戦略により、情報量の多い領域に集中することで、認識精度が顕著に向上する。
• 時間歪みと動的制約の統合により、非剛体または時間的に変化するシーンでも頑健な認識が可能となり、静的記述子よりも性能が向上する。
• 本フレームワークは、タスク固有、センサ固有、制御権限固有の制約を統合することで、制御されたセンシングの形式的基盤を提供する。
• 本アプローチは、圧縮表現が意思決定タスクに関して損失なしに保たれることを保証するため、従来の情報ボトルネックの落とし穴を回避する。