[논문 리뷰] Tracking moving objects through scattering media via speckle correlations

Y. Jauregui-Sánchez, Harry Penketh외 1명|arXiv (Cornell University)|2022. 02. 22.

Random lasers and scattering media인용 수 4

한 줄 요약

이 논문은 산란 매질 뒤에 있는 움직이는 물체를 실시간으로, 낮은 복잡도로 추적하기 위한 방법을 제안한다. 시간에 따라 변화하는 스페클 패턴의 교차상관관계를 이용하여, 연속 프레임 간의 스페클 강도의 교차상관관계와 자기상관관계의 차이를 계산함으로써 운동 신호를 분리한다. 이 기법은 영상 복원 없이도 광학 기억 효과 범위를 초월해 추적할 수 있으며, 계산 비용이 극히 적다.

ABSTRACT

Scattering can rapidly degrade our ability to form an optical image, to the point where only speckle-like patterns can be measured. Truly non-invasive imaging through a strongly scattering obstacle is difficult, and usually reliant on a computationally intensive numerical reconstruction. In this work we show that, by combining the cross-correlations of the measured speckle pattern at different times, it is possible to track a moving object with minimal computational effort and over a large field of view.

연구 동기 및 목표

• 스페클 왜곡으로 인해 기존 영상 기술이 실패하는 강한 산란 매질 뒤에 있는 움직이는 물체의 추적 문제를 해결한다.
• 산란 매질을 통한 영상 복원에 따른 계산 부담을 줄이기 위해 영상 복원 대신 운동 추적에 집중한다.
• 스페클 패턴의 시간적 상관관계를 활용하여 최소한의 계산 비용으로 실시간 추적을 가능하게 한다.
• 배경 스페클 상관관계를 활용하여 광학 기억 효과 범위를 초월한 효과적인 시야를 확장한다.
• 고정 배경이 있는 복잡한 시나리오에 대해 정적 성분을 교차상관관계에서 제거함으로써 정적 성분을 효과적으로 억제한다.

제안 방법

• 렌즈리스 CMOS 카메라를 사용하여 산란 매질 뒤에 숨겨진 장면의 시간에 따라 변화하는 스페클 강도 패턴을 측정한다.
• 연속된 시간 단계에서의 스페클 패턴 간의 교차상관관계를 계산하여 운동 관련 정보를 추출한다.
• 교차상관관계와 자기상관관계의 차이를 적용하여 정적 배경 기여도를 억제한다.
• 평균이 0인 결과 신호를 이용하여 운동 방향을 포함하는 해석 가능한 운동 프레임을 생성한다.
• 오직 기억 효과 범위 내에서 상관관계를 가지는 스페클 패턴만 신호에 기여하므로, 물체가 표준 기억 효과 범위를 초월해도 추적 가능하다.
• 이중층 접착 테이프를 사용하여 기억 효과 범위를 줄여 국소 운동에 대한 민감도를 향상시키면서도 전송 특성을 유지한다.

실험 결과

연구 질문

• RQ1 강한 산란 매질 뒤에 숨겨진 물체의 운동을 전체 영상 복원 없이 추적할 수 있는가?
• RQ2 시간에 따라 변화하는 스페클 패턴의 교차상관관계를 통해 최소한의 계산 비용으로 운동 정보를 파악할 수 있는가?
• RQ3 광학 기억 효과 범위를 초월해 추적에 대한 효과적인 시야를 확장할 수 있는가?
• RQ4 스페클 기반 운동 추적에서 정적 배경 성분을 효과적으로 억제할 수 있는가?
• RQ5 이 방법은 은폐된 물체의 평행 이동 외에도 회전, 변형, 크기 변화를 감지할 수 있는가?

주요 결과

• 제안된 방법은 산란 매질 뒤에 있는 움직이는 물체를 계산 오버헤드가 거의 없는 실시간으로 추적할 수 있다.
• 자기상관관계를 교차상관관계에서 빼내어 정적 배경 성분이 효과적으로 제거되며, 운동 유도 신호만 남는다.
• 물체가 광학 기억 효과 범위를 초월해도, 적어도 하나의 정적 배경 점과 상관관계가 유지되는 한 운동 추적이 성공적으로 이루어진다.
• 결과로 얻어진 운동 신호는 움직이는 물체 중심에 위치하며, 배경은 그에 대해 상대적으로 움직이는 것처럼 보여 운동 방향을 직관적으로 해석할 수 있다.
• DMD 기반 장면과 이중층 접착 테이프를 사용한 실험 결과, 기억 효과 범위가 감소한 상황에서도 운동 추적이 강인하고 효과적임을 확인하였다.
• 이 방법은 물체의 형태나 운동 모델에 대한 사전 지식 없이도 평행 이동, 회전, 변형 등 다양한 운동 유형에 적용 가능하다.