[논문 리뷰] 3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation

Chris Lehnert, Dorian Tsai외 2명|arXiv (Cornell University)|2018. 09. 21.

Advanced Vision and Imaging참고 문헌 16인용 수 7

한 줄 요약

이 논문은 3D 카메라 어레이와 의미적 세그먼테이션을 사용하여 막힌 물체의 다음 최적 시야를 동적으로 찾는 시각 제어 방법인 3D Move to See(3DMTS)를 제안한다. 여러 시점에서 기울기 기반 목적 함수를 계산함으로써 로봇 액추에이터는 국소적으로 최적의 시야로 이동하며, 목표 물체의 크기를 평균 29.3% 증가시켰다. 이는 단일 RGB-D 카메라 기준보다 3배 우수하며, 抓취 및 수확과 같은 후속 작업의 가시성을 향상시킨다.

ABSTRACT

In this paper, we present a new approach to visual servoing for robotics, referred to as 3D Move to See (3DMTS), based on the principle of finding the next best view using a 3D camera array and a robotic manipulator to obtain multiple samples of the scene from different perspectives. The method uses semantic vision and an objective function applied to each perspective to sample a gradient representing the direction of the next best view. The method is demonstrated within simulation and on a real robotic platform containing a custom 3D camera array for the challenging scenario of robotic harvesting in a highly occluded and unstructured environment. It was shown on a real robotic platform that by moving the end effector using the gradient of an objective function leads to a locally optimal view of the object of interest, even amongst occlusions. The overall performance of the 3DMTS method obtained a mean increase in target size by 29.3% compared to a baseline method using a single RGB-D camera, which obtained 9.17%. The results demonstrate qualitatively and quantitatively that the 3DMTS method performed better in most scenarios, and yielded three times the target size compared to the baseline method. The increased target size in the final view will improve the detection of key features of the object of interest for further manipulation, such as grasping and harvesting.

연구 동기 및 목표

• 기존의 알려진 템플릿이 없는 환경에서 시각 제어가 실패하는 비구조적이고 막힌 환경에서 최적의 시점 각도를 찾는 문제를 해결하기 위해.
• 실시간 다중 시점 센싱을 통해 막힘 주변을 자율적으로 탐색하고 다음 최적의 시야를 동적으로 선택할 수 있도록 하기 위해.
• 목표 물체의 가시성을 극대화함으로써 그라스핑 및 수확과 같은 후속 조작 작업을 향상시키기 위해.
• 사전 정의된 이미지 템플릿($I_t$)이 필요로 하지 않아 자연스럽고 다양성이 큰 환경, 예를 들어 농업 수확 환경에 적합한 방법을 개발하기 위해.
• 모의 환경과 실제 로봇 플랫폼에서의 실험을 통해 복잡한 실제 환경 상황에서도 견고함을 입증하기 위해.

제안 방법

• 9대의 Pi 카메라와 10대의 Pi Zero 모듈을 포함한 3D 카메라 어레이를 사용하여 장면의 여러 동시 시점 이미지를 촬영함으로써 실시간 다중 시점 샘플링을 가능하게 한다.
• 의미적 세그먼테이션을 통해 각 카메라 시점에서 관심 물체(예: 편초 페퍼)를 식별하고, 목표 영역의 픽셀 단위 마스크를 제공함으로써 정량화한다.
• 각 카메라 시점에 대해 세그먼트된 목표 물체의 가시 영역 기반으로 목적 함수를 계산하여 해당 시점의 품질 점수를 산정한다.
• 카메라 어레이 전반에 걸친 목적 함수의 기울기를 계산하여 가시성을 극대화하는 움직임 방향을 결정하고, 이를 시각 제어를 통해 로봇 종단기구를 이동시킨다.
• 운동 제약 조건과 운동학적 제약 조건을 고려하면서 기울기 방향으로 로봇이 이동하며, 정지 조건을 만족할 때까지 반복적으로 시야를 향상시킨다.
• 피드백 루프 방식으로 작동한다: 각 움직임 이후에 새로운 다중 시점 이미지가 촬영되고, 목적 함수가 재계산되며, 다음 이동 방향이 결정된다.

실험 결과

연구 질문

• RQ1 다중 시점 3D 카메라 어레이를 사용하여 알려진 이미지 템플릿($I_t$)이 없이도 실시간 기울기 기반 시각 제어가 가능한가?
• RQ2 농업 분야와 같은 매우 막힌 비구조적 환경에서 제안된 3DMTS 방법이 목표 물체의 가시성을 얼마나 효과적으로 향상시키는가?
• RQ3 기존의 특징 기반 방법에 비해 의미적 세그먼테이션을 사용함으로써 다음 최적 시야 선택의 견고성과 정확도는 어느 정도 향상되는가?
• RQ4 3DMTS의 성능은 단일 RGB-D 카메라 기준 대비 목표 물체 크기 증가율과 시야 품질 측면에서 어떻게 비교되는가?
• RQ5 어려운 초기 위치에서조차도 막힘 주변을 신뢰성 있게 탐색하고 국소적으로 최적의 시야로 수렴할 수 있는가?

주요 결과

• 3DMTS 방법은 모든 막힘 시나리오에서 목표 물체 크기 평균 29.3% 증가를 달성하여 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 단일 RGB-D 카메라를 사용하는 기준 방법은 목표 물체 크기 평균 9.17% 증가에 그쳐, 다중 시점 센싱이 성능 향상에 필수적임을 입증했다.
• 몇몇 시나리오를 제외하고 3DMTS 방법은 목표 물체를 더 중심에 맞추고 포괄적인 시야를 제공했으며, 그림 10의 시각적 비교로 확인되었다.
• 실제 시험에서 3DMTS 방법은 막힘 주변을 성공적으로 탐색했으며, 다양한 초기 설정에서 로봇 궤적이 목표로 수렴하는 것으로 나타났다(그림 9 참조).
• 기울기 기반 샘플링 덕분에 세그먼테이션 오차에 대해 견고했으며, 의미 예측의 일시적인 부정확성도 매끄럽게 보정했다.
• 3DMTS가 생성한 최종 시야는 수확과 같은 조작 작업에 매우 유용했으며, 목표 물체의 핵심 특징을 더 잘 드러내었다.