[논문 리뷰] Steps Towards a Theory of Visual Information: Active Perception, Signal-to-Symbol Conversion and the Interplay Between Sensing and Control

Stefano Soatto|arXiv (Cornell University)|2011. 10. 10.

Advanced Vision and Imaging참고 문헌 155인용 수 36

한 줄 요약

이 논문은 능동적 인식, 신호-기호 변환, 감지와 제어의 상호작용을 통합하는 시각 정보 처리에 대한 이론적 프레임워크를 제안한다. 노이즈에 견딜 수 있도록 최적화된 결정을 위한 캐논화된 특징과 제어된 탐색 전략을 도입하여, 인식과 주행에 있어 임무 최적의 손실 없는 표현을 달성한다.

ABSTRACT

This manuscript describes the elements of a theory of information tailored to control and decision tasks and specifically to visual data. The concept of Actionable Information is described, that relates to a notion of information championed by J. Gibson, and a notion of "complete information" that relates to the minimal sufficient statistics of a complete representation. It is shown that the "actionable information gap" between the two can be reduced by exercising control on the sensing process. Thus, senging, control and information are inextricably tied. This has consequences in the so-called "signal-to-symbol barrier" problem, as well as in the analysis and design of active sensing systems. It has ramifications in vision-based control, navigation, 3-D reconstruction and rendering, as well as detection, localization, recognition and categorization of objects and scenes in live video. This manuscript has been developed from a set of lecture notes for a summer course at the First International Computer Vision Summer School (ICVSS) in Scicli, Italy, in July of 2008. They were later expanded and amended for subsequent lectures in the same School in July 2009. Starting on November 1, 2009, they were further expanded for a special topics course, CS269, taught at UCLA in the Spring term of 2010.

연구 동기 및 목표

• 물리적 및 인지적 제약 조건 하에서 시각적 결정을 최적의 분류 작업으로 형식화하기 위해.
• 데이터 처리 부등식이 암시하는 바와 같이 비최적의 것으로 여겨지는 신호-기호 변환의 역설을 해결하기 위해, 캐논화된 특징이 행동 가능한 정보를 어떻게 유지하는지 보여주기 위해.
• 능동적 인식을 제어 이론과 통합하여 불확실성을 감소시키는 목표 지향적 시각적 탐색을 가능하게 하기 위해.
• 조명, 시점, 운동과 같은 노이즈를 고려한 특징 검출 및 기술자 설계에 체계적인 접근법을 개발하기 위해.
• 이미지 수준의 주목력과 장면 수준의 주행 간 격차를 제어된 감지 및 동적 탐색 전략을 통해 메우기 위해.

제안 방법

• 이미지 형성 과정을 형식화하고 장면 복사율과 관측 강도를 연결하기 위해 Lambert-Ambient (LA) 모델을 사용한다.
• 결정에 관련된 정보를 유지하면서 차원을 줄이기 위해 마진화와 극대화(최대값 추출, max-out)를 적용한다.
• 노이즈(예: 강체 운동, 조도)의 최적 변환을 통해 캐논화된 특징을 도입하여 불변성과 완전성을 달성한다.
• 이미지와 장면의 위상적 구조를 표현하기 위해 Reeb 그래프와 모스 이론을 활용하여 강건한 분할 및 특징 검출을 가능하게 한다.
• 막힘 감지와 기억 기반 전략을 사용하여 활성 감지를 이끄는 후퇴 수평 시각 탐색기(Receding-horizon visual explorer)를 개발한다.
• 시간 왜곡과 동적 제약 조건을 통합하여 시간적 시퀀스를 모델링하고, 비강성 또는 동적 장면에서의 인식을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 처리 부등식이 암시하는 바와 같이 비최적의 것으로 여겨지는 신호-기호 변환을 어떻게 최적으로 만들 수 있는가?
• RQ2 주어진 시각적 결정 작업에 대해 특징 표현이 충분하고 완전한지를 보장하는 형식적 조건은 무엇인가?
• RQ3 불확실성을 능동적으로 감소시키고 인식 성능을 향상시키기 위해 어떻게 시각적 탐색을 설계할 수 있는가?
• RQ4 조명, 시점과 같은 노이즈와 의미 있는 장면 구조를 분리하는 데 배경이 되는 수학적 구조는 무엇인가?
• RQ5 시간에 따라 변화하는 시각 데이터를 어떻게 압축하고 표현할 수 있는가? 이는 제어 및 인식에 필요한 정보를 유지하기 위함이다.

주요 결과

• 최적의 노이즈 마진화를 통해 유도된 캐논화된 특징는 모든 행동 가능한 정보를 유지하므로, 후속 분류 작업에 있어 최적이 된다.
• 감지와 제어의 상호작용은 수동 관찰보다 우수한 성능을 내는 능동적 탐색을 가능하게 하며, 특히 가림되거나 모호한 환경에서 두드러진다.
• 막힘 감지와 근시적 탐색 전략은 정보가 많은 영역에 집중함으로써 인식 정확도를 크게 향상시킨다.
• 시간 왜곡과 동적 제약 조건을 통합함으로써 비강성 또는 시간적으로 변화하는 장면에서도 강건한 인식이 가능해지고, 정적 기술자에 비해 성능 향상이 이루어진다.
• 이 프레임워크는 제어된 감지를 위한 형식적 기반을 제공하며, 임무 특화, 센서 특화, 제어 권한 특화 제약 조건을 통합함으로써 능동적 시각을 일반화한다.
• 이 접근법은 손실 없는 표현이 결정 작업에 대해 유지되도록 보장함으로써,传통적인 정보 블로킹의 함정을 피한다.