[논문 리뷰] Fast Integral Image Estimation at 1% measurement rate

Kuldeep Kulkarni, Pavan Turaga|arXiv (Cornell University)|2016. 01. 27.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 적합한 측정 행렬과 선형 연산자를 사용하여 공간 다중화 측정치의 1%만으로도 반복적 재구성 없이 적분 이미지를 직접 추정하는 ReFInE 프레임워크를 제안한다. 파형 기반 사전 지식과 둘레 차수의 콘익스 제약 조건을 활용한 핵자기 최소화 공식화를 통해 초저밀도 측정률에서도 최신 기준의 객체 추적 성능을 달성한다.

ABSTRACT

We propose a framework called ReFInE to directly obtain integral image estimates from a very small number of spatially multiplexed measurements of the scene without iterative reconstruction of any auxiliary image, and demonstrate their practical utility in visual object tracking. Specifically, we design measurement matrices which are tailored to facilitate extremely fast estimation of the integral image, by using a single-shot linear operation on the measured vector. Leveraging a prior model for the images, we formulate a nuclear norm minimization problem with second order conic constraints to jointly obtain the measurement matrix and the linear operator. Through qualitative and quantitative experiments, we show that high quality integral image estimates can be obtained using our framework at very low measurement rates. Further, on a standard dataset of 50 videos, we present object tracking results which are comparable to the state-of-the-art methods, even at an extremely low measurement rate of 1%.

연구 동기 및 목표

• 공간 다중화 카메라(SMCs)에서 반복적 재구성의 계산적 병목 현상을 해결하기 위해 측정치로부터 직접 추론할 수 있도록 한다.
• 압축 감지에서의 가짜 랜덤 측정치의 한계를 극복하기 위해 응용 분야에 특화된 비랜덤 측정 행렬을 설계한다.
• 고품질의 적분 이미지 추정을 위해 필요한 측정치 수를 최소화하면서도 객체 추적과 같은 후행 시각 작업의 정확성을 확보한다.
• 이미지 재구성을 피하고 직접 적분 이미지와 같은 유용한 표현을 추정함으로써 초저밀도 감지률에서도 실시간 컴퓨터 비전을 가능하게 한다.

제안 방법

• 측정 행렬의 질서를 최소화하고 측정치를 근사 적분 이미지로 매핑하는 선형 연산자를 학습하기 위해 공동 최적화 문제를 수립한다.
• 자연 이미지의 웨이블릿 계수에 다변량 일반화된 가우시안 분포(MGGD) 사전 지식을 도입하여 이미지 구조를 모델링한다.
• 추정 오차에 대한 확률적 제약 조건을 둘레 차수의 콘익스 제약 조건으로 완화하여 볼록 최적화를 가능하게 한다.
• NP-하드 문제를 효율적으로 해결하기 위해 질서 최소화의 볼록 대체물로 핵자기 최소화를 사용한다.
• 볼록 최적화를 통해 특수 설계된 측정 행렬과 선형 연산자를 설계하여 단일 촬영 선형 추정을 가능하게 한다.
• 적용된 프레임워크를 객체 추적에 적용하기 위해 추정된 적분 이미지를 히어르-기반 추적기(FCT)에 직접 사용함으로써 전체 이미지 재구성을 피한다.

실험 결과

연구 질문

• RQ1 반복적 이미지 재구성을 거치지 않고도 공간 다중화 측정치의 소수의 수치에서 직접 적분 이미지를 추정할 수 있는가?
• RQ2 특화된 측정 행렬과 선형 연산자를 함께 최적화하여 초저밀도 측정률에서도 고품질의 적분 이미지 추정을 가능하게 할 수 있는가?
• RQ3 ReFInE 측정치로부터 직접 추정된 적분 이미지가 자원 제약 조건 하에서 전체 해상도 재구성보다 더 뛰어난 추적 성능을 보일 수 있는가?
• RQ4 전체 해상도 데이터가 확보되지 않는 1% 측정률에서도 제안된 프레임워크가 최신 기준 추적 방법을 능가할 수 있는가?

주요 결과

• 측정률 1% (실제 측정률 8.16%)에서 ReFInE는 객체 추적의 평균 정밀도 54.83%를 달성하였으며, 전체 해상도 이미지에서 작동하는 'Oracle FCT' 추적기보다 12.46%포인트 높은 성능을 보였다.
• 0.2% 측정률(EMR 1.63%)에서도 정밀도는 45.79%를 유지하였으며, 'Oracle FCT' 기준보다 3.42%포인트 높은 성능을 기록하였다.
• ReFInE 기반 추적기는 고해상도 영상에서 약 20 FPS로 작동하여 더 넓은 검색 공간에도 불구하고 실시간 성능에 근접한 성능을 보였다.
• 이 프레임워크는 원본 이미지 크기의 2–8% 정도의 데이터로도 뛰어난 추적 정확도를 달성하였으며, 신중하게 설계된 측정치가 추론 작업에서 전체 해상도 데이터를 능가할 수 있음을 입증하였다.
• 둘레 차수의 콘익스 제약 조건을 통한 핵자기 최소화 방법은 추정 정확도와 계산 효율성 사이의 균형을 성공적으로 달성하였다.
• 이 방법은 반복적 재구성을 완전히 회피하여 압축 측정치로부터 빠르고 단일 촬영 선형 추정을 가능하게 하였다.