[논문 리뷰] Online Extrinsic Camera Calibration for Temporally Consistent IPM Using Lane Boundary Observations with a Lane Width Prior

Jeong-Kyun Lee, Young Ki Baik외 2명|arXiv (Cornell University)|2020. 08. 09.

Advanced Vision and Imaging참고 문헌 23인용 수 4

한 줄 요약

이 논문은 자율주행을 위한 시간적으로 일관된 역pers펙티브 매핑(IPM)을 가능하게 하기 위해 차선 경계 관측치와 차선 폭 사전지식을 사용하여 기울기, 요동, 기울기 및 카메라 높이를 온라인으로 추정하는 외부 캘리브레이션 방법을 제안한다. 기울기/요동을 위한 퇔새는점 추정과, 확장된 컨볼루션 필터링을 통한 차선 폭 사전지식을 활용한 기울기/카메라 높이 최적화를 결합함으로써, 노이즈와 운동 변화 조건에서도 하위도 기준 정확도와 센티미터 수준의 안정성을 달성한다.

ABSTRACT

In this paper, we propose a method for online extrinsic camera calibration, i.e., estimating pitch, yaw, roll angles and camera height from road surface in sequential driving scene images. The proposed method estimates the extrinsic camera parameters in two steps: 1) pitch and yaw angles are estimated simultaneously using a vanishing point computed from a set of lane boundary observations, and then 2) roll angle and camera height are computed by minimizing difference between lane width observations and a lane width prior. The extrinsic camera parameters are sequentially updated using extended Kalman filtering (EKF) and are finally used to generate a temporally consistent bird-eye-view (BEV) image by inverse perspective mapping (IPM). We demonstrate the superiority of the proposed method in synthetic and real-world datasets.

연구 동기 및 목표

• 진동과 환경 변화로 인한 운전 중 외부 카메라 파라미터의 드리프트 문제를 해결한다.
• 안전한 ADAS 및 자율주행 시스템을 위해 수동 조작 없이 실시간 자동 캘리브레이션을 가능하게 한다.
• 기울기, 요동, 기울기, 높이의 네 가지 외부 파라미터를 온라인으로 추정하여 시간적으로 일관된 베이비의 뷰(BEV) 이미지를 생성한다.
• 동적인 주행 조건에서 추정 정확도와 강건성을 향상시키기 위해 차선 폭을 사전지식으로 활용한다.
• IPM 출력의 시간적 일관성을 확보하여 BEV 이미지에서 변동하는 차선 폭과 척도 왜곡을 방지한다.

제안 방법

• 완전 컨volution 신경망 기반 분할 모델을 사용해 입력 이미지에서 차선 경계를 검출한다.
• 노이즈에 강건하기 위해 RANSAC과 구면 이론을 활용해 평행한 차선 경계의 퇰일러 포인트(VP)를 추정한다.
• 카메라의 전방 벡터 대비 VP 방향으로부터 기울기 및 요동 각도를 계산한다.
• 추정된 기울기 및 요동을 바탕으로, 관측된 폭과 사전지식 폭 간의 차이를 최소화함으로써 기울기 각도와 카메라 높이를 계산한다.
• 확장된 컨볼루션 필터링(EKF)을 적용해 시간 순서에 따라 외부 파라미터를 순차적으로 업데이트함으로써 시간적 일관성을 확보한다.
• 업데이트된 파라미터를 사용해 역pers펙티브 매핑(IPM)을 통해 시간적으로 안정된 BEV 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 기울기, 요동, 기울기, 카메라 높이의 네 가지 외부 카메라 파라미터를 차선 경계 관측치만으로 온라인으로 추정할 수 있는가?
• RQ2 기울기 및 요동이 알려진 상태에서, 차선 폭 사전지식을 효과적으로 활용해 기울기 및 카메라 높이를 어떻게 추정할 수 있는가?
• RQ3 카메라 운동과 영상 노이즈가 존재하는 상황에서도 제안된 방법이 시간적으로 일관된 BEV 이미지를 생성할 수 있는가?
• RQ4 이미지 노이즈 수준과 실제 주행 조건이 다양할 경우 파라미터 추정의 정확도는 어느 정도인가?
• RQ5 EKF의 사용이 캘리브레이션 결과의 시간적 안정성 향상에 어느 정도 기여하는가?

주요 결과

• 노이즈가 높은 조건(σ² = 9 픽셀)에서도 기울기 및 요동에 대해 루트 평균 제곱 오차(RMSE)가 0.2도 이하이며, 카메라 높이에 대해서는 1.5cm 이하로 나타났다.
• 합성 데이터셋에서 σ² = 9 조건 하에서 기울기 각도의 RMSE는 0.114도 이하, 높이의 RMSE는 1.4cm 이하로 유지되어 노이즈에 대한 강건성을 입증했다.
• 제안된 방법으로 생성된 BEV 이미지는 운동 변화가 있을 경우에도 일관된 차선 폭과 최소한의 프레임 간 변동을 보였다.
• 실제 주행 데이터셋(Test1 및 Test2)에서, 사전 캘리브레이션된 파라미터를 사용한 기준 IPM 대비 BEV 품질이 크게 향상되었으며 척도 불일치 문제가 제거되었다.
• 수동으로 주석 처리된 차선 경계에서 유도된 가짜 진짜값과 비교했을 때, 추정된 외부 파라미터는 실제 데이터에서 정확도를 잘 유지함을 검증했다.
• EKF의 사용으로 매개변수 업데이트가 부드럽고 시간적으로 일관되게 이루어져 BEV 출력에서 급격한 점프를 방지했다.