[논문 리뷰] Detecting Robotic Affordances on Novel Objects with Regional Attention and Attributes.

Fu-Jen Chu, Ruinian Xu외 1명|arXiv (Cornell University)|2019. 09. 12.

Image Processing Techniques and Applications인용 수 5

한 줄 요약

이 논문은 지역적 주의(attention)와 특성 예측을 활용하여 새로운 물체 카테고리에서 로봇의 가능성을 탐지하기 위한 카테고리 무관 프레임워크를 제안한다. 영역 제안 네트워크와 자기 주의(self-attention)를 결합하고 보조적 특성 추론 작업을 도입함으로써, 훈련 중에 볼 수 없었던 물체에서 가능성 분할(segmentation) 성능를 최고 수준으로 향상시켜 카테고리 사전 지식을 초월한 일반화 능력을 확보한다.

ABSTRACT

This paper presents a framework for predicting affordances of object parts of unseen categories, with application to robot manipulation. The framework generates affordance maps of novel objects within an image via region-based affordance segmentation. Earlier work used category priors while jointly optimizing detection and segmentation to boost accuracy with limited ability to generalize to unknown categories. This work integrates a category-agnostic region proposal network for proposing instance regions of an image across categories. A self-attention mechanism trained to interpret each proposal learns to capture rich contextual dependencies through the region. To further guide affordance learning in the absence of category priors, an auxiliary task of object attribute inference improves local feature learning. Experimental results show that the trained deep network architecture achieves state-of-the-art performance on affordance segmentation of novel objects and outperforms several baselines. An ablation study quantifies the effectiveness and contributions of each proposed component. Experiments demonstrate the use of affordance detection on novel objects for vision tasks and for manipulation.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 새로운 물체 카테고리에서 로봇 시스템이 가능성을 탐지할 수 있도록 하는 것.
• 기존 방법이 가능성 예측에 카테고리 사전 지식에 의존하는 한계를 극복하는 것.
• 자기 주의를 통해 영역 제안에 대한 문맥적 종속성을 통합함으로써 가능성 분할의 일반화 능력을 향상시키는 것.
• 카테고리 레이블이 없는 상황에서 보조적 특성 추론 작업을 통해 국소적 특징 학습을 향상시키는 것.

제안 방법

• 카테고리 레이블에 의존하지 않고 모든 카테고리에서 물체 인스턴스 영역을 생성하는 카테고리 무관 영역 제안 네트워크를 사용한다.
• 각 영역 제안에 대해 자기 주의 메커니즘을 적용하여 영역 내 rich한 문맥적 종속성을 캡처한다.
• 물체의 특성(예: 형상, 재질 등)을 예측하는 보조 작업을 도입하여 카테고리 사전 지식에 의존하지 않고 국소적 특징 학습을 유도한다.
• 다중 작업 학습 목표를 사용하여 가능성 분할과 특성 예측을 동시에 최적화한다.
• 주의 메커니즘을 통해 영역 기반 특징을 정제하여 가능성이 있는 영역의 공간 정렬을 향상시킨다.
• 프레임워크는 가능성 맵과 특성에 대한 애너테이션을 가진 이미지에서 엔드 투 엔드로 훈련되어 새로운 카테고리에 대한 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 카테고리 사전 지식에 의존하지 않고 자기 주의를 활용한 영역 기반 접근 방식이 새로운 물체 카테고리에서 가능성 분할 성능를 향상시킬 수 있는가?
• RQ2 보조적 특성 예측이 가능성 탐지에 대한 국소적 특징 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 영역 주의와 특성 학습의 통합이 새로운 물체 카테고리로의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 프레임워크의 개별 구성 요소가 가능성 분할 성능에 기여하는 방식은 어떠한가?

주요 결과

• 제안된 프레임워크는 새로운 물체 카테고리에서 가능성 분할 성능를 최고 수준으로 달성하여 여러 강력한 베이스라인을 능가한다.
• 제거 실험(ablation study) 결과, 영역 주의와 특성 예측이 모두 분할 정확도 향상에 유의미하게 기여하는 것으로 확인되었다.
• 모델는 강력한 제로샷 일반화 능력을 보이며, 훈련 중에 볼 수 없었던 카테고리의 물체에서 가능성을 효과적으로 탐지한다.
• 영역 제안 내에서 자기 주의를 통합함으로써 더 나은 문맥 모델링과 가능성이 있는 영역의 정밀한 국소화가 가능해졌다.
• 보조적 특성 예측 작업은 특히 모호하거나 구조가 복잡한 영역에서 특징 표현을 향상시켰다.
• 실험 결과, 다양한 벤치마크 데이터셋에서 일관된 성능 향상이 관찰되어 다중 작업 학습 전략의 효과성을 입증하였다.