[논문 리뷰] Challenges in video based object detection in maritime scenario using computer vision

Dilip K. Prasad, Chandrashekar Krishna Prasath외 4명|arXiv (Cornell University)|2016. 08. 03.

Color Science and Applications참고 문헌 9인용 수 38

한 줄 요약

이 논문은 해양 환경에서 영상 기반 물체 검출의 핵심 과제를 특정하고 분석하며, 수평선 검출, 동적 배경 모델링, 다양한 기상 및 조명 조건 하에서의 전경 물체 검출에 초점을 맞춘다. 세 가지 실세계 데이터셋을 사용하여 최신 기술을 평가한 결과, 기존 알고리즘은 운동, 동적 배경, 복잡한 조명 효과로 인해 해양 조건 간 일반화에 실패함을 입증한다.

ABSTRACT

This paper discusses the technical challenges in maritime image processing and machine vision problems for video streams generated by cameras. Even well documented problems of horizon detection and registration of frames in a video are very challenging in maritime scenarios. More advanced problems of background subtraction and object detection in video streams are very challenging. Challenges arising from the dynamic nature of the background, unavailability of static cues, presence of small objects at distant backgrounds, illumination effects, all contribute to the challenges as discussed here.

연구 동기 및 목표

• 해양 환경에 특화된 영상 기반 물체 검출의 고유한 기술적 과제를 특정하고 체계적으로 분석하는 것.
• 실해양 영상 데이터셋에서 최신 알고리즘의 수평선 검출, 배경 제거, 전경 물체 검출 성능을 평가하는 것.
• 현재 컴퓨터 비전 기법이 해양 환경에서의 동적 배경, 작은 먼 거리의 물체, 다양한 기상 및 조명 조건을 처리하는 데에 미치는 제약 조건을 부각하는 것.
• 기존 배경 모델링 및 물체 검출 방법이 해양 영상 스트림에서 높은 거짓 양성 및 거짓 음성 비율을 유발함을 입증하는 것.
• 해양 영상 처리의 동적이고 변수적이며 복잡한 특성에 맞는 새로운 적응형 알고리즘 개발을 촉구하는 것.

제안 방법

• 세 가지 실세계 영상 데이터셋을 활용: 동적 플랫폼인 부이에 고정된 카메라, 고정된 해안 기반 플랫폼, 선박 내부에 설치된 카메라로, 각각 다른 해양 조건을 대표한다.
• 모든 데이터셋에서 검출 정확도 평가를 위해 수작업으로 지정된 기준값(수평선 위치 Y 및 α, 물체 수)을 사용한다.
• 두 가지 최신 수평선 검출 방법(FGSL 및 ENIW)을 평가하며, 파라미터 기반 선형 검출(Hough 변환)과 통계적 색상 분포 분리 기법을 활용한다.
• 싱가포르-해양 데이터셋에서 2014년 변화 탐지 경연 대회에 참가한 34개의 변화 탐지 알고리즘을 평가하여 배경 제거 성능을 분석한다.
• 지역 이진 유사도 패턴을 사용한 배경 표현 방식을 적용해 세 가지 배경 모델링 기법(Gaussian Mixture Model(GMM), PFinder의 가우시안 강도 모델, SuBSENSE)을 테스트한다.
• 수평선 검출의 오차 지표(25분위수, 중앙값, 표준편차)에 대한 정량적 분석을 수행하고, 배경 제거 및 물체 검출에서의 거짓 양성/음성 비율을 평가한다.

실험 결과

연구 질문

• RQ1 동적 플랫폼의 운동과 변동하는 카메라 방향이 해양 영상 스트림에서 수평선 검출 정확도에 어떤 영향을 미치는가?
• RQ2 최신 배경 제거 알고리즘이 파도, 거품, 움직이는 물결 등의 다양한 해양 조건에 얼마나 일반화되는가?
• RQ3 기존 전경 물체 검출 방법이 영상 시퀀스에서 정지된 해양 물체(예: 부이, 정박한 선박)를 탐지하지 못하는 이유는 무엇인가?
• RQ4 다양한 기상 및 조명 조건(예: 강한 햇빛, 황혼, dense 안개)이 배경 및 전경 픽셀의 통계적 분포에 어떤 영향을 미치는가?
• RQ5 실제 해양 영상 처리에 적용했을 때 현재 컴퓨터 비전 파이프라인의 주요 성능 저하 요인은 무엇인가?

주요 결과

• 수평선 검출의 변동성이 높음: 선박 내부에서 Y 위치의 표준편차는 145.10 픽셀에 달하며, 플랫폼 운동으로 인한 심각한 불안정성을 나타냄.
• ENIW 및 FGSL 방법은 선박 내부에서 Y 추정의 중앙값 오차가 각각 117.81 픽셀 및 118.14 픽셀로, 동적 조건에서 높은 취약성을 보임.
• GMM, PFinder, SuBSENSE 등의 배경 제거 방법은 수역 영역에서 높은 거짓 양성 비율을 보이며, 거품 및 파도와 같은 동적 배경 특징을 억제하지 못함.
• 복잡한 배경을 고려해 설계된 SuBSENSE 알고리즘도 여전히 다양한 조명 조건 하에서 해양 환경에서 높은 거짓 양성 비율을 유발함.
• 기존 알고리즘 중에서 이동 중인 전경 물체와 정지된 물체를 동시에 탐지하는 것은 성공하지 못하며, 현재 접근 방식의 심각한 격차를 드러냄.
• 반사 및 스펙클 효과 등 비균일한 조명 조건에서는 픽셀 통계가 변화함에 따라 배경 모델링 및 물체 검출 성능이 크게 저하됨.