[논문 리뷰] AffordanceNet: An End-to-End Deep Learning Approach for Object Affordance Detection

Thanh-Toan Do, Anh‐Tu Nguyen외 1명|arXiv (Cornell University)|2017. 09. 21.

Robot Manipulation and Learning참고 문헌 24인용 수 27

한 줄 요약

AffordanceNet는 공유 컨volution 블록을 가진 두 개의 브랜치(객체 검출용 및 다중 클래스 접근성 세그멘테이션용)를 사용하여 RGB 이미지에서 객체와 그들의 픽셀 수준 접근성을 동시에 검출하는 엔드 투 엔드 딥 러닝 프레임워크입니다. 복소수 업샘플링, 강건한 리사이징 및 다중 작업 손실 함수를 통해 실시간 성능(1초당 150ms)을 달성하여 실시간 로봇 응용 프로그램을 가능하게 하며, 공개 데이터셋에서 최고 성능을 기록합니다.

ABSTRACT

We propose AffordanceNet, a new deep learning approach to simultaneously detect multiple objects and their affordances from RGB images. Our AffordanceNet has two branches: an object detection branch to localize and classify the object, and an affordance detection branch to assign each pixel in the object to its most probable affordance label. The proposed framework employs three key components for effectively handling the multiclass problem in the affordance mask: a sequence of deconvolutional layers, a robust resizing strategy, and a multi-task loss function. The experimental results on the public datasets show that our AffordanceNet outperforms recent state-of-the-art methods by a fair margin, while its end-to-end architecture allows the inference at the speed of 150ms per image. This makes our AffordanceNet well suitable for real-time robotic applications. Furthermore, we demonstrate the effectiveness of AffordanceNet in different testing environments and in real robotic applications. The source code is available at https://github.com/nqanh/affordance-net

연구 동기 및 목표

• RGB 이미지에서 객체와 그들의 접근성을 동시에 검출할 수 있는 실시간, 엔드 투 엔드 딥 러닝 시스템을 개발하는 것.
• 다른 외관을 가진 객체 부분이 동일한 기능 레이블을 공유할 수 있는 다중 클래스 접근성 세그멘테이션 문제를 해결하는 것.
• 사람의 상호작용 데이터가 필요 없이 복잡하고 새로운 환경에서도 정확도와 일반화 능력을 향상시키는 것.
• 빠른 추론(1장당 150ms)을 보장하여 실제 로봇 시스템에 실용적으로 구현 가능한 것.
• 시뮬레이션 및 실제 세계의 로봇 조작 작업 모두에서 효과성을 입증하는 것.

제안 방법

• 네트워크는 공유 컨볼루션 백본을 기반으로 하며, 객체 검출(바운딩 박스 및 클래스 레이블)을 위한 하나의 브랜치와 접근성 세그멘테이션(픽셀 수준 레이블)을 위한 다른 브랜치를 병렬로 사용합니다.
• 복소수 업샘플링 레이어의 시퀀스를 통해 접근성 특징 맵을 고해상도로 업샘플링하여 정밀한 세그멘테이션을 위한 공간적 세부 정보를 유지합니다.
• 다양한 스케일 간의 특징 맵을 정렬하기 위해 강건한 리사이징 전략을 적용하여 특징 일관성과 세그멘테이션 정확도를 향상시킵니다.
• 다중 작업 손실 함수를 통해 객체 검출과 접근성 세그멘테이션을 동시에 최적화함으로써 엔드 투 엔드 훈련과 더 나은 특징 공유를 가능하게 합니다.
• 최종 접근성 맵 크기를 정확도와 계산 비용의 최적 균형을 위해 244×244로 설정하여 IIT-AFF 및 UMD 데이터셋에서 교차 엔트로피와 박스 손실 성분을 사용해 훈련합니다.
• 효율적인 아키텍처 설계를 통해 추론 속도를 가속화하여 단일 GPU에서 1장당 150ms의 성능을 달성합니다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 프레임워크는 높은 정확도와 실시간 성능로 동시에 객체와 그들의 접근성을 검출할 수 있는가?
• RQ2 복소수 업샘플링 레이어, 리사이징 전략 및 다중 작업 손실 함수는 이전 방법에 비해 다중 클래스 접근성 세그멘테이션에 어떻게 기여하는가?
• RQ3 모델은 제어된 데이터셋을 초월하여 실제 환경과 시뮬레이션 환경으로의 일반화 능력이 어느 정도인가?
• RQ4 이 시스템은倒기나 또는 잡기와 같은 실제 로봇 조작 작업에 효과적으로 구현될 수 있는가?
• RQ5 정확도와 계산 효율성의 균형을 고려할 때 최적의 접근성 맵 크기는 무엇인가?

주요 결과

• AffordanceNet은 IIT-AFF 데이터셋에서 최고 성능을 기록하며, 최근의 다른 방법들보다 가중 Fβ 스코어 73.35를 달성합니다.
• 1장당 150ms의 실시간 추론 성능를 확보하여 온라인 로봇 응용 프로그램에 적합합니다.
• 244×244 크기의 접근성 맵이 정확도와 계산 비용의 최적 균형을 이룹니다. 이는 14×14나 28×28와 같은 더 작은 맵보다 뛰어난 성능을 보입니다.
• 다양한 환경(예: 예술 작품 이미지, Gazebo 시뮬레이션)으로의 일반화 능력이 뛰어나 도메인 이동에 강건함을 입증합니다.
• WALK-MAN 인간형 로봇에 배포된 결과, 정확한 객체 및 접근성 위치 정보 제공을 통해倒기나, 잡기 등의 작업을 성공적으로 수행했습니다.
• 제거 실험을 통해 복소수 업샘플링 레이어, 강건한 리사이징 전략 및 다중 작업 손실 함수가 다중 클래스 접근성 검출의 고정확도를 위해 필수적인 구성 요소임을 확인했습니다.