[논문 리뷰] Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping

Xuebin Qin, Shida He외 4명|arXiv (Cornell University)|2017. 04. 30.

Advanced Vision and Imaging참고 문헌 12인용 수 4

한 줄 요약

이 논문은 선분의 인지적 군집화를 활용하여 영상에서 주목할 만한 닫힌 윤곽을 실시간으로 추적하는 방법을 제안한다. 데라운이 삼각분할된 그래프에서 새로운 이중방향 최단경로(BDSP) 알고리즘을 활용하고, 군집화 비용과 면적 유사성 제약 조건을 결합함으로써, 무늬가 없는 물체나 비평면 윤곽과 같은 도전적인 조건에서도 강력하고 실시간으로 추적할 수 있다. 이는 로봇 따르기 실험과 새로운 9598프레임 영상 데이터셋을 통해 검증되었다.

ABSTRACT

This paper presents a novel real-time method for tracking salient closed boundaries from video image sequences. This method operates on a set of straight line segments that are produced by line detection. The tracking scheme is coherently integrated into a perceptual grouping framework in which the visual tracking problem is tackled by identifying a subset of these line segments and connecting them sequentially to form a closed boundary with the largest saliency and a certain similarity to the previous one. Specifically, we define a new tracking criterion which combines a grouping cost and an area similarity constraint. The proposed criterion makes the resulting boundary tracking more robust to local minima. To achieve real-time tracking performance, we use Delaunay Triangulation to build a graph model with the detected line segments and then reduce the tracking problem to finding the optimal cycle in this graph. This is solved by our newly proposed closed boundary candidates searching algorithm called "Bidirectional Shortest Path (BDSP)". The efficiency and robustness of the proposed method are tested on real video sequences as well as during a robot arm pouring experiment.

연구 동기 및 목표

• 기존 추적기들이 텍스처가 없는 영역, 비강성 또는 조명 변화로 인해 실패하는 비구조적이고 실제 세계적인 환경에서 주목할 만한 닫힌 윤곽을 추적하는 데 도전 과제를 해결하기 위해.
• 로컬 최소값에 덜 민감하고 안정적인 텍스처나 3D 모델에 의존하지 않는 실시간으로 강력한 추적 방법을 개발하기 위해.
• 로봇 시각 응용 분야에서 안정적인 윤곽 추적에 기반해 정확한 3D 중심 추정이 필요한, 움직이는 Bowls를 따라가거나 그 안에 따르는 등의 작업에서 신뢰할 수 있는 윤곽 추적을 가능하게 하기 위해.
• 다양하고 도전적인 윤곽 추적 시나리오를 포함한 새로운 기준 영상 데이터셋 9,598프레임을 구축하기 위해.

제안 방법

• 선분 검출 알고리즘을 사용해 각 영상 프레임에서 선분을 검출하고, 선분 끝점들을 기반으로 데라운이 삼각분할을 통해 그래프를 구성한다.
• 그래프 내에서 최적의 닫힌 윤곽 사이클을 효율적으로 탐색하기 위해 새로운 이중방향 최단경로(BDSP) 알고리즘을 제안한다. 이는 계산 비용을 최소화한다.
• 추적 기준은 윤곽의 연속성에 대한 인지적 군집화 비용과 연속 프레임 간 면적 유사성 제약 조건을 조합하여 강건성을 향상시킨다.
• 그래프 모델은 점진적으로 구축되며, BDSP 알고리즘은 경로 탐색 문제를 변환된 그래프 구조에서 최단경로 문제로 환원시킨다.
• 킨ect 센서를 사용해 2D로 추적된 윤곽 점들을 3D 좌표로 매핑함으로써 로봇 암 제어를 위한 3D 중심 추정이 가능해진다.
• 시스템은 C++로 구현되었으며 OpenCV와 Boost를 사용하여 표준 하드웨어에서 실시간 성능를 달성한다.

실험 결과

연구 질문

• RQ1 선분의 인지적 군집화가 텍스처가 없고 비평면적이며 혼잡한 환경에서 주목할 만한 닫힌 윤곽을 강력하고 실시간으로 추적할 수 있는가?
• RQ2 군집화 비용과 면적 유사성 제약 조건을 어떻게 조합하여 국소 최소값과 외관 변화에 대한 추적 강건성을 향상시킬 수 있는가?
• RQ3 새로운 BDSP 알고리즘을 활용한 그래프 기반 최적화가 GPU나 복잡한 모델에 의존하지 않고도 실시간으로 닫힌 윤곽 추적을 달성할 수 있는가?
• RQ4 이 방법은 움직이는 밥그릇을 추적하여 정확한 따르기 작업을 수행하는 실제 로봇 응용 분야에서 얼마나 효과적인가?
• RQ5 이러한 도전적인 실제 영상 시퀀스에서 최신 추적기인 RKLT, ESM, HoughTrack, RRC보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 방법은 기준 데이터셋에서 평균 54.12 fps의 프레임 레이트를 달성했으며, 대부분의 시퀀스에서 1프레임당 처리 시간이 10ms 이내였고, 실시간 성능가능성을 확인했다.
• 9개의 영상 시퀀스에서 RKLT, ESM, HoughTrack, RRC보다 추적 성공률가 높았으며, 특히 텍스처가 없거나 비평면적인 경우에서 뛰어난 성능을 보였다.
• 로봇 암 따르기 실험에서 추적기는 밥그릇의 2D 가장자리를 추적하고 이를 3D 중심으로 매핑하여 정확한 시리얼 따르기를 성공적으로 구현했다.
• BDSP 알고리즘은 '마크 컵' 시퀀스에서 평균 군집화 시간을 5.07ms로 줄였고, '북 스탠드' 시퀀스에서는 3.79ms로 높은 효율성을 보였다. 모든 테스트 시퀀스에서 높은 효율성을 유지했다.
• 기존 추적기들이 실패하는 비라운드 표면, 비강성 변형, 시점 변화 상황에서도 이 방법은 강건성을 입증했다.
• 다양한 윤곽 유형을 포함한 9,598프레임의 새로운 영상 데이터셋은 향후 윤곽 추적 방법 평가를 위한 유의미한 기준이 되었다.