[논문 리뷰] POMP: Pomcp-based Online Motion Planning for active visual search in indoor environments

Yiming Wang, Francesco Giuliari외 6명|arXiv (Cornell University)|2020. 09. 17.

Video Analysis and Summarization참고 문헌 29인용 수 6

한 줄 요약

POMP는 실시간 RGB-D 관측과 알려진 바닥도를 활용하여 사전 훈련 없이 실내 환경에서 목표 물체를 향해 탐색하는 온라인 운동 계획 프레임워크를 제안한다. POMCP 기반의 접근 방식을 통해 76%의 성공률과 평균 경로 길이 17.1을 달성하였으며, 레이블이 없는 데이터나 모델 미세조정이 필요 없음에도 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper we focus on the problem of learning an optimal policy for Active Visual Search (AVS) of objects in known indoor environments with an online setup. Our POMP method uses as input the current pose of an agent (e.g. a robot) and a RGB-D frame. The task is to plan the next move that brings the agent closer to the target object. We model this problem as a Partially Observable Markov Decision Process solved by a Monte-Carlo planning approach. This allows us to make decisions on the next moves by iterating over the known scenario at hand, exploring the environment and searching for the object at the same time. Differently from the current state of the art in Reinforcement Learning, POMP does not require extensive and expensive (in time and computation) labelled data so being very agile in solving AVS in small and medium real scenarios. We only require the information of the floormap of the environment, an information usually available or that can be easily extracted from an a priori single exploration run. We validate our method on the publicly available AVD benchmark, achieving an average success rate of 0.76 with an average path length of 17.1, performing close to the state of the art but without any training needed. Additionally, we show experimentally the robustness of our method when the quality of the object detection goes from ideal to faulty.

연구 동기 및 목표

• 부정확한 물체 검출(가림, 흐림, 부분적 시야 등)으로 인해 실내 환경에서 활성 시각 탐색(AVS)이 어려운 문제를 해결하기 위해.
• 사전 훈련된 모델이 필요 없이 환경 변화나 센서 품질 변화에 적응할 수 있는 온라인으로 학습하는 운동 계획 정책을 개발하기 위해.
• 대규모 레이블링된 강화학습 데이터셋의 고비용, 고시간, 고계산 자원 소모 문제를 줄이기 위해 환경 지도를 활용함으로써 기존의 데이터 기반 접근 방식에 의존하지 않도록 하기 위해.
• 누락된 검출과 오진 검출을 포함한 노이즈가 있는 물체 검출기의 영향을 줄이고도 높은 성공률을 유지하기 위해.
• 작고 중간 크기의 실내 환경에서 경량이고 일반화 가능한 계획 방식을 사용하여 실시간 구현이 가능하도록 하기 위해.

제안 방법

• POMP는 AVS 문제를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링하고, POMCP 알고리즘을 사용하여 몬테카를로 트리 검색(MCTS)으로 해결한다.
• 각 시간 단계에서 에이전트의 자세와 현재 RGB-D 프레임을 사용하여 후보 물체를 검출하며, 깊이 데이터를 활용해 검출 결과를 2차원 바닥도에 투영하여 공간적 추론을 수행한다.
• 입자 필터는 물체 위치의 믿음 상태를 유지하며, 검출 결과와 센서의 시야 제약 조건에 기반해 이를 갱신한다.
• POMCP 계획기에서는 목표 물체에 가까워지거나 시야가 향상되는 것을 목표로 하여 기대 보상이 최대가 되는 동작(이동)을 선택한다.
• 검출 후, 경로 재계획 모듈이 다익스트라 알고리즘을 사용하여 최단 경로를 계산하고, 정면 시야 유지 전략을 통해 안정적인 도킹을 수행한다.
• 이 방법은 환경 기하학(벽, 장애물 등)과 가시성 정보를 명시적으로 모델링하여, 데이터 기반으로 암묵적으로 지식을 인코딩하는 방식을 피한다.

실험 결과

연구 질문

• RQ1 POMCP 기반의 온라인 모델 기반 계획이 대규모 레이블링된 데이터셋에 대한 사전 훈련 없이도 경쟁 가능한 AVS 성능을 달성할 수 있는가?
• RQ2 POMP 프레임워크는 검출 성능 저하(누락된 검출, 오진 검출 포함)에 대해 얼마나 강건한가?
• RQ3 알려진 바닥도를 사용할 경우, 엔드 투 엔드 학습 기반 접근 방식에 비해 계획 효율성과 성공률가 얼마나 향상되는가?
• RQ4 온라인 정책 학습은 오프라인 훈련에 비해 환경 변화나 새로운 센서 모odalities에 더 빠르게 적응할 수 있는가?
• RQ5 복잡한 실내 환경(혼잡함, 가림 등)에서도 경로 길이를 최소화하면서도 높은 성능을 유지할 수 있는가?

주요 결과

• POMP는 AVD 벤치마크에서 평균 성공률 76%와 평균 경로 길이 17.1을 달성하였으며, 사전 훈련 없이도 최신 기술보다 뛰어난 성공률 성능을 보였다.
• 이deal한 검출기 조건에서 POMP는 성공률 0.76 (0.26)과 평균 경로 길이 17.1을 기록하였으며, 모델 미세조정 없이도 EAT의 성능을 밀도 있게 유지하거나 초월하였다.
• 누락된 검출에 대해 강건하게 유지되었으며, 참조(annotation)의 60% 이상 제거된 이후에야 성공률이 뚜렷하게 저하되었다.
• 오진 검출은 성공률에 더 강한 부정적 영향을 미쳤지만, 평균 경로 길이는 안정적으로 유지되었으며, APL은 성공 경로에 대해서만 계산되기 때문이다.
• 도킹 단계에서의 경로 재계획이 평균 3.5%의 성공률 향상을 이끌었으며, 약간의 경로 길이 증가가 수반되었고, 이는 최종 접근 단계에서의 효과성을 입증하였다.
• 시스템은 6코어 CPU에서 1단계당 평균 0.07초의 속도로 실행되어 실내 환경에서의 실시간 구현 가능성을 입증하였다.