[논문 리뷰] 3D Particle Positions from Computer Stereo Vision in PK-4

Daniel Mohr, Peter Huber외 2명|arXiv (Cornell University)|2019. 12. 09.

Solar and Space Plasma Dynamics참고 문헌 9인용 수 10

한 줄 요약

이 논문은 국제우주정거장(ISS)의 PK-4 시설에서 이중카메라 영상 촬영을 이용해 복잡한 플라즈마 실험에서 3차원 입자 위치를 재구성하는 스테레오 비전 방법을 제시한다. 레이저 시트를 유한 두께를 가진 평면으로 모델링하고 레이저 평면 기하학에 대한 제약 조건을 포함한 비선형 최소제곱 최적화 문제를 해결함으로써, 2차원 영상 특징에서 정확한 3차원 재구성을 달성하여 마이크로중력 환경에서 피크셀 이하 정확도의 추적을 가능하게 하며, 물리적 캘리브레이션을 통해 마이크로미터 수준의 정확도를 확보한다.

ABSTRACT

Complex plasmas consist of microparticles embedded in a low-temperature plasma containing ions, electrons and neutral particles. The microparticles form a dynamical system that can be used to study a multitude of effects on the level of the constituent particles. The microparticles are usually illuminated with a sheet of laser light, and the scattered light can be observed with digital cameras. Some complex plasma microgravity research facilities use two cameras with an overlapping field of view. An overlapping field of view can be used to combine the resulting images into one and trace the particles in the larger field of view. In previous work this was discussed for the images recorded by the PK-4 Laboratory on board the International Space Station. In that work the width of the laser sheet was, however, not taken into account. In this paper, we will discuss how to improve the transformation of the features into a joint coordinate system, and possibly extract information on the 3D position of particles in the overlap region.

연구 동기 및 목표

• 스테레오 비전에서 레이저 시트의 유한 두께를 고려함으로써 복잡한 플라즈마 내 미세입자의 3차원 재구성을 향상시키기 위해.
• PK-4 마이크로중력 실험 설정에서 이중카메라 영상에서 정확한 3차원 좌표 추정을 가능하게 하기 위해.
• 스테레오 재구성에서 얻은 임의 단위를 물리적 마이크로미터 단위로 변환하는 캘리브레이션 방법을 개발하기 위해.
• 이전 방법들이 레이저 평면을 영향을 미치지 않는 두께가 없는 평면으로 가정하여 위치 오차를 유발했던 한계를 해결하기 위해.
• 피크셀 이하 해상도를 갖는 겹치는 카메라 시야에서의 입자 추적을 위한 견고한 프레임워크를 제공하기 위해.

제안 방법

• PK-4 설정에서 두 카메라 모두 표준 핀홀 카메라 모델과 분수형 왜곡 보정을 사용한다.
• 겹치는 카메라 시야 간에 대응되는 입자 특징을 식별하기 위해 정규화된余弦 유사도를 사용한다.
• 3차원 입자 위치가 상하 경계에 의해 정의된 유한 두께의 레이저 시트 내에 있어야 한다는 기하학적 제약 조건을 적용한다.
• 레이저 시트 및 카메라 투영 제약 조건을 만족시키며 양측 카메라의 재투영 오차를 최소화하는 비선형 최소제곱 최적화 문제를 해결한다.
• 스테레오 재구성에서 투영 행렬, 카메라 파라미터, 3차원 입자 좌표를 동시에 추정하기 위해 최소제곱 해법(sciPy)을 사용한다.
• 이전 실험 데이터에서 1 픽셀 ≈ 14 μm의 알려진 대응 관계를 이용해 임의 단위를 물리 단위로 캘리브레이션한다.

실험 결과

연구 질문

• RQ1 유한 두께의 레이저 시트를 고려한 이중카메라 스테레오 비전을 통해 복잡한 플라즈마 실험에서 3차원 입자 위치를 정확히 재구성할 수 있는가?
• RQ2 레이저 시트를 2차원 평면이 아닌 3차원 부피로 모델링할 경우 3차원 재구성 정확도는 어떻게 향상되는가?
• RQ3 재투영 오차를 최소화하면서 기하학적 제약 조건을 만족시키는 비선형 최적화 문제의 최적 수식은 무엇인가?
• RQ4 피크셀 이하 특징 매칭과 캘리브레이션은 3차원 입자 추적의 공간 해상도를 얼마나 향상시킬 수 있는가?
• RQ5 카메라 파라미터와 레이저 시트 깊이가 3차원 재구성의 안정성과 정확도에 미치는 영향은 어떠한가?

주요 결과

• 이 방법은 이중카메라 영상에서 3차원 입자 좌표를 성공적으로 재구성하였으며, 그 결과는 초점이 맞춰진 상태와 흐린 상태에서의 레이저 조건에 대해 그림 6에 시각화되어 있다.
• 최적화 프레임워크는 48개의 대응 특징 쌍에 대해 최대 274개의 미지수와 288개의 방정식을 처리하여, 다중 카메라 환경에서도 확장 가능함을 보여준다.
• 18개의 대응 특징 쌍을 가진 2카메라 설정에서는 108개의 스칼라 미지수와 108개의 방정식을 처리하여 최소제곱 최소화를 통해 안정적인 해를 도출할 수 있다.
• 레이저 시트를 유한한 깊이(d ≈ 1 mm)로 모델링함으로써 재구성 오차가 감소하며, 두께가 없는 평면으로 가정할 경우 깊이 방향에서의 정렬 오류가 발생한다.
• 피크셀 이하 특징 매칭이 해상도를 향상시키며, 캘리브레이션 인자(1 px ≈ 14 μm) 덕분에 임의 단위에서 물리적 마이크로미터 단위로의 변환을 가능하게 한다.
• 입자가 레이저 시트의 가장자리 근처에 있을 경우에도 이 방법은 견고하며, 깊이 변화로 인해 흐린 영역에서는 일부 오진 매칭이 발생함을 그림 5(d)에서 확인할 수 있다.