[논문 리뷰] Autocamera Calibration for traffic surveillance cameras with wide angle lenses

Aman Gajendra Jain, Nicolas Saunier|PolyPublie (École Polytechnique de Montréal)|2020. 01. 20.

Video Surveillance and Tracking Methods참고 문헌 10인용 수 4

한 줄 요약

이 논문은 오직 영상 자료와 카메라 높이만을 입력으로 사용하여 광각 렌즈를 갖춘 교통 감시 카메라를 자동으로 캘리브레이션하는 방법을 제시한다. 등거리 피시아이 모델을 통해 내재 캘리브레이션을 수행하고, 수직 교차로에서의 차량 궤적을 이용해 퇴측점(vanishing points)을 활용하여 외재 캘리브레이션을 수행하여 초점 거리 추정의 평균 오차 약 6.35%를 달성했으며, 체크어웃보드 캘리브레이션에 비해 우수한 왜곡 보정 성능을 보였다.

ABSTRACT

We propose a method for automatic calibration of a traffic surveillance camera with wide-angle lenses. Video footage of a few minutes is sufficient for the entire calibration process to take place. This method takes in the height of the camera from the ground plane as the only user input to overcome the scale ambiguity. The calibration is performed in two stages, 1. Intrinsic Calibration 2. Extrinsic Calibration. Intrinsic calibration is achieved by assuming an equidistant fisheye distortion and an ideal camera model. Extrinsic calibration is accomplished by estimating the two vanishing points, on the ground plane, from the motion of vehicles at perpendicular intersections. The first stage of intrinsic calibration is also valid for thermal cameras. Experiments have been conducted to demonstrate the effectiveness of this approach on visible as well as thermal cameras. Index Terms: fish-eye, calibration, thermal camera, intelligent transportation systems, vanishing points

연구 동기 및 목표

• 장면 특성에 대한 수동 레이블링이나 3차원 캘리브레이션 장비 없이도 광각 렌즈를 갖춘 교통 감시 카메라의 자동 캘리브레이션을 가능하게 하기 위해.
• 사용자 입력으로 카메라 높이만을 사용하여 외재 캘리브레이션의 척도 모호성을 해결하기 위해.
• 장면에 특화된 특징이나 사전 캘리브레이션 데이터에 의존하지 않고 렌즈 왜곡에 강건한 방법을 개발하기 위해.
• 운동 기반 캘리브레이션을 활용하여 열화상 카메라로의 적용 범위를 확장하기 위해.
• 속도 모니터링, 3차원 복원, 차량 추적과 같은 후속 응용 프로그램을 가능하게 하기 위해.

제안 방법

• 내재 캘리브레이션은 등거리 피시아이 투영 방식을 사용하는 다항식 레이디얼 왜곡 모델을 적용하여 차량 궤적 운동으로부터 왜곡 계수를 추정한다.
• 이 방법은 정사각형 픽셀, 영점 기울기, 그리고 이미지 중심에 광학 중심이 위치한 투영 카메라 모델을 가정하여 내재 행렬을 단순화한다.
• 외재 캘리브레이션은 수직 교차로에서 차량 운동으로부터 지면 평면상의 두 개의 수직 퇴측점을 추정한다.
• 퇴측점은 궤적 방향의 히스토그램 공간에서 RANSAC 기반 투표를 통해 검출되며, 상위 20% 투표의 평균과 표준편차를 활용하여 정확도를 향상시킨다.
• 정규화된 직교성을 확보하기 위해 SVD를 사용해 회전 행렬을 정밀 조정하고, 카메라 높이를 이용해 척도 모호성을 해결하기 위해 변환 벡터를 계산한다.
• 전체 과정은 몇 분 분량의 영상 자료만으로 수행되며, 사용자 입력으로 카메라 높이만 필요하다.

실험 결과

연구 질문

• RQ1 움직이는 차량과 장면 특성에 대한 레이블링 없이도 광각 카메라의 내재 캘리브레이션을 자동으로 수행할 수 있는가?
• RQ2 교통 환경에서 차량 궤적을 기반으로 퇴측점을 얼마나 정확하게 추정할 수 있는가?
• RQ3 기존의 체크아웃보드 캘리브레이션에 비해 제안된 방법이 왜곡을 얼마나 줄이는가?
• RQ4 동일한 성능을 유지를 하면서 이 방법을 열화상 카메라에 적용할 수 있는가?
• RQ5 차량의 가림이나 비직선 운동이 있는 상황에서도 캘리브레이션이 강건한가?

주요 결과

• 제안된 방법은 체크아웃보드 캘리브레이션 대비 평균 초점 거리 추정 오차가 약 6.35% 이내로 나타나 내재 캘리브레이션의 높은 정확도를 입증하였다.
• 캘리브레이션 이후 궤적의 왜곡 보정에 대한 평균 제곱오차(LSE)는 0.006~0.007 수준으로 감소하였으며, 5개 데이터셋 중 4개에서 체크아웃보드 캘리브레이션 계수보다 우수한 성능을 보였다.
• 메트릭스 변환을 통해 정상적인 정면 시점 이미지가 생성되었으며, 평행한 도로 표시선, 원형의 맨홀, 직사각형의 횡단보도 등이 정확하게 유지되어 외재 캘리브레이션이 올바르게 수행되었음을 확인하였다.
• 운동 기반 접근 방식을 동일하게 적용하여 열화상 카메라의 캘리브레이션을 성공적으로 수행하였으며, 이는 가시광선 카메라 외에도 적용 가능함을 입증하였다.
• 소음에 강건하며, 차량 밀도가 낮더라도 수직 방향으로 충분한 수의 차량이 이동하는 조건이라면 잘 작동함을 확인하였다.
• 전 과정이 완전히 자동화되어 몇 분 분량의 영상과 카메라 높이만으로도 실생활 적용에 실용적임을 입증하였다.