[논문 리뷰] Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization

Miika Aittala, Prafull Sharma외 5명|arXiv (Cornell University)|2019. 12. 05.

Advanced Optical Sensing Technologies인용 수 15

한 줄 요약

이 논문은 깊이 있는 행렬 분해를 사용하여 校정되지 않은 가시 환경에서 간접 조명을 통해 숨겨진 시나리오 영상을 복원하는 새로운 방법을 제안한다. 숨겨진 영상과 빛 전달 행렬을 각각 무작위로 초기화된 컨volution 신경망의 출력으로 매개변수화하고, 한 번의 최적화를 통해 훈련함으로써 사전 훈련 없이도 의미 있는 분해를 달성하며, 높은 지각적 정확도로 가림을 뛰어넘어 움직임을 드러내는 '계산적 거울'을 가능하게 한다.

ABSTRACT

We recover a video of the motion taking place in a hidden scene by observing changes in indirect illumination in a nearby uncalibrated visible region. We solve this problem by factoring the observed video into a matrix product between the unknown hidden scene video and an unknown light transport matrix. This task is extremely ill-posed, as any non-negative factorization will satisfy the data. Inspired by recent work on the Deep Image Prior, we parameterize the factor matrices using randomly initialized convolutional neural networks trained in a one-off manner, and show that this results in decompositions that reflect the true motion in the hidden scene.

연구 동기 및 목표

• 보면 가시한 혼잡함 속에서 간접 조명을 관찰함으로써 수동적이고 校정되지 않은 비선형 시각 이미징을 가능하게 하기 위해.
• 숨겨진 시나리오 영상과 빛 전달 행렬이 모두 알려져 있지 않은 애매한 역 문제인 빛 전달 문제를 해결하기 위해.
• 심층 신경망에서 유도하는 사전 지식을 활용해 고비용의 사전 校정을 피하는 방법을 개발하기 위해.
• 심층 이미지 사전 지식이 물리적 역 문제에서 맹시적 행렬 분해를 효과적으로 정규화할 수 있음을 보여주기 위해.

제안 방법

• 관측된 영상가의 행렬 분해로 역 빛 전달 문제를 설정하여, 알려지지 않은 숨겨진 시나리오 영상과 알려지지 않은 빛 전달 행렬로 분해한다.
• 이 둘의 요소 행렬을 각각 무작위로 초기화된 컨volution 신경망(CNN)으로 매개변수화하여 이미지 유사한 구조를 암묵적으로 강제한다.
• 관측된 영상과 두 요소 행렬의 곱 사이의 재구성 오차를 최소화하기 위해 CNN을 한 번의 경사 하강법로 훈련한다.
• 스킵 연결과 배치 정규화를 사용하여 훈련을 안정화하고 요소 행렬의 공간 일관성을 유도한다.
• 중간 특징 맵에 강제적인 공간 변화를 도입하여 대칭성을 깨고 수렴 속도를 가속화한다.
• 사전 훈련이나 레이블이 없는 데이터를 사용하지 않으며, 오직 아키텍처와 무작위 초기화만이 사전 지식을 제공한다.

실험 결과

연구 질문

• RQ1 심층 컨volution 신경망은 물리적 역 문제에서 맹시적 행렬 분해에 효과적인 사전 지식이 될 수 있는가?
• RQ2 교정이나 시나리오 기하학적 지식 없이도 간접 조명에서 의미 있는 숨겨진 시나리오 영상을 복원할 수 있는가?
• RQ3 심층 이미지 사전 지식은 실제 세계에서 校정되지 않은 환경에서 숨겨진 시나리오 내용과 빛 전달 행렬을 얼마나 효과적으로 분리하는가?
• RQ4 회전, 뒤집힘, 비선형 왜곡과 같은 전역적 모호성이 재구성 품질에 어느 정도 영향을 미치는가?
• RQ5 재훈련 없이 다양한 시나리오 복잡도와 운동 패턴에 일반화할 수 있는가?

주요 결과

• 이 방법은 사전 校정이나 훈련 데이터 없이도 간접 조명에서 지각적으로 이해 가능한 숨겨진 시나리오의 운동을 성공적으로 복원한다.
• 디스크 운동 및 손 흔들기 실험과 같은 통제된 시퀀스에서는 복원된 숨겨진 영상 콘텐츠가 명확하게 식별 가능하다.
• 수정된 맹시적 탈초점화 기반 베이스라인보다 성능이 뛰어나며, 훨씬 더 일관되고 해석 가능한 재구성을 만들어낸다.
• 이 방법은 라이브 액션 시퀀스로 일반화되어 프로젝터나 능동 조명 없이도 대규모 사지 및 물체의 운동을 해결한다.
• 실험적 비선형성에 대해 강건하며, 측정된 전달 행렬에서 생성된 반-합성 데이터에서도 거의 동일한 성능을 보여 확인되었다.
• 전역적 모호성인 회전, 뒤집힘, 비선형 왜곡은 여전히 존재하지만, 핵심 운동 콘텐츠는 유지되고 지각적으로 정확하다.