[논문 리뷰] Verbal Focus-of-Attention System for Learning-from-Observation

Naoki Wake, Iori Yanokura외 2명|arXiv (Cornell University)|2020. 07. 17.

Robot Manipulation and Learning참고 문헌 59인용 수 4

한 줄 요약

이 논문은 인간의 시연에서의 시공간 노이즈를 줄이기 위해 자연어 지시를 활용해 시공간 필터를 유도하는 말하기 중심의 주의집중(FoA) 시스템을 제안한다. 물체 이름과 특성을 해석하여 어디를 봐야 할지 정의하는 '어디를 봐야 할지' 필터를 생성하고, 잡기/놓기 동작의 시점을 탐지하여 '언제 봐야 할지' 필터를 생성함으로써, 기존의 시각 전용 방법에 비해 혼잡하고 노이즈가 많은 환경에서도 행동 국소화의 강건성을 향상시킨다.

ABSTRACT

The learning-from-observation (LfO) framework aims to map human demonstrations to a robot to reduce programming effort. To this end, an LfO system encodes a human demonstration into a series of execution units for a robot, which are referred to as task models. Although previous research has proposed successful task-model encoders, there has been little discussion on how to guide a task-model encoder in a scene with spatio-temporal noises, such as cluttered objects or unrelated human body movements. Inspired by the function of verbal instructions guiding an observer's visual attention, we propose a verbal focus-of-attention (FoA) system (i.e., spatio-temporal filters) to guide a task-model encoder. For object manipulation, the system first recognizes the name of a target object and its attributes from verbal instructions. The information serves as a where-to-look FoA filter to confine the areas in which the target object existed in the demonstration. The system then detects the timings of grasp and release that occurred in the filtered areas. The timings serve as a when-to-look FoA filter to confine the period of object manipulation. Finally, a task-model encoder recognizes the task models by employing FoA filters. We demonstrate the robustness of the verbal FoA in attenuating spatio-temporal noises by comparing it with an existing action localization network. The contributions of this study are as follows: (1) to propose a verbal FoA for LfO, (2) to design an algorithm to calculate FoA filters from verbal input, and (3) to demonstrate the effectiveness of a verbal FoA in localizing an action by comparing it with a state-of-the-art vision system.

연구 동기 및 목표

• 혼잡한 물체와 관련 없는 신체 운동으로 인해 정확한 작업 모델링이 어려워지는 관찰 학습(LfO)에서의 노이즈가 많은 인간 시연 문제를 해결한다.
• 자연어 지시에 의해 유도되는 인간의 주의를 모방한 메커니즘을 도입하여, 시공간 노이즈가 존재하는 실제 환경에서 작업 모델 인코더의 강건성을 향상시킨다.
• 자연어 지시를 동적 시공간 필터로 변환하여 시연 인코딩 중 주의를 이끌 수 있는 시스템을 개발한다.
• 말하기 중심의 FoA 필터가 복잡하고 노이즈가 많은 환경에서 잡기 및 놓기 행동의 국소화 정확도를 시각 전용 기준선에 비해 향상시킨다는 것을 입증한다.

제안 방법

• 목표 물체의 이름과 특성을 추출하기 위해 언어 지시를 분석하여, 시연에서 관심 영역을 제한하는 '어디를 봐야 할지' 공간 필터를 생성한다.
• 공간적으로 필터링된 영역 내에서 시간적 행동 국소화를 사용하여 잡기 및 놓기 동작을 탐지함으로써 '언제 봐야 할지' 시간 필터를 형성한다.
• 결합된 시공간 FoA 필터를 사용하여 작업 모델 인코더의 입력을 제약함으로써, 관련 없는 시각적 노이즈에 대한 민감도를 감소시킨다.
• 이중 단계 필터링 과정을 사용한다: 먼저 물체 인식과 특성 해석을 통한 공간 필터링, 그 다음 동작 경계 탐지에 의한 시간 필터링.
• 표준 LfO 파이프라인에 FoA 필터를 통합하여, 작업 모델 인코더가 시연의 관련 세그먼트에만 집중할 수 있도록 한다.
• 비교를 위해 기존의 행동 국소화 네트워크를 기준선으로 사용하며, 말하기 중심 FoA가 국소화 정확도와 노이즈 강건성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 자연어 지시를 효과적으로 활용하여 관찰 학습 중 주의를 유도하는 시공간 필터를 생성할 수 있는가?
• RQ2 혼잡한 시각 조건에서 말하기 중심 FoA 시스템은 시각 전용 기준선에 비해 어떤 식으로 잡기 및 놓기 행동을 국소화하는가?
• RQ3 불필요한 인간의 움직임과 간섭 물체와 같은 시공간 노이즈에 대해 FoA 시스템은 어느 정도 민감도를 감소시키는가?
• RQ4 물체 이름 및 특성 인식과 시간 행동 탐지의 조합이 작업 모델링을 위한 주의 유도에 어떤 영향을 미치는가?
• RQ5 제안된 FoA 메커니즘은 주로 아키텍처 변경 없이 기존 LfO 프레임워크에 통합될 수 있는가?

주요 결과

• 말하기 중심의 FoA 시스템은 언어 유도 시공간 제약을 통해 불필요한 시각적 노이즈를 제거함으로써, 혼잡한 환경에서 행동 국소화 정확도를 크게 향상시킨다.
• 장애물 물체나 관련 없는 신체 운동이 존재하는 상황에서도 시스템은 잡기 및 놓기 행동의 강건한 국소화를 달성한다.
• 최신의 시각 전용 행동 국소화 네트워크에 비해, FoA가 강화된 시스템은 높은 시공간 노이즈 조건에서 뛰어난 성능을 보인다.
• 주의 메커니즘에 자연어 입력을 통합함으로써, 인간 시연에서 더 신뢰성 있고 해석 가능한 작업 모델 추출이 가능해진다.
• 언어를 통해 공간적 및 시간적 필터링을 유도함으로써, 이론적으로 물체 국소화 작업과 동작 경계 탐지 작업을 효과적으로 분리할 수 있다.
• 정량적 비교를 통한 성능 검증을 통해, 국소화 F1 점수와 여러 노이즈가 있는 시연 시나리오에서의 강건성 향상이 명확하게 측정되었다.