[논문 리뷰] Classification based Grasp Detection using Spatial Transformer Network

Dongwon Park, Se Young Chun|arXiv (Cornell University)|2018. 03. 04.

Robot Manipulation and Learning참고 문헌 17인용 수 32

한 줄 요약

이 논문은 상태기반 분류 기반의 로봇 그립 감지 방법을 제안하며, 다단계 공간 변환 네트워크(스페이셜 트랜스포머 네트워크, STN)를 사용하여 최신 기술 수준의 정확도와 실시간 성능를 달성한다. 브루트 포스 슬라이딩 윈도우 대신 계층적인 공간 변환을 적용함으로써 관측 가능한 중간 단계의 그립 후보(위치, 방향, 크기)를 제공하여 해석 가능성과 학습 효율성을 향상시키며, ImageNet 사전 학습이 필요하지 않다.

ABSTRACT

Robotic grasp detection task is still challenging, particularly for novel objects. With the recent advance of deep learning, there have been several works on detecting robotic grasp using neural networks. Typically, regression based grasp detection methods have outperformed classification based detection methods in computation complexity with excellent accuracy. However, classification based robotic grasp detection still seems to have merits such as intermediate step observability and straightforward back propagation routine for end-to-end training. In this work, we propose a novel classification based robotic grasp detection method with multiple-stage spatial transformer networks (STN). Our proposed method was able to achieve state-of-the-art performance in accuracy with real- time computation. Additionally, unlike other regression based grasp detection methods, our proposed method allows partial observation for intermediate results such as grasp location and orientation for a number of grasp configuration candidates.

연구 동기 및 목표

• 딥 러닝을 사용하여 새로운 물체에 대한 로봇 그립 감지 과제를 해결하기 위해.
• 블랙박스 회귀 기반 방법의 한계를 극복하기 위해 중간 단계의 그립 후보를 부분적으로 관측 가능하게 하기 위해.
• ImageNet과 같은 대규모 데이터셋에서의 사전 학습 없이도 높은 정확도와 실시간 추론 성능를 달성하기 위해.
• 회귀 기반 그립 감지의 더 해석 가능하고 학습이 용이한 대안을 제공하며, 엔드 투 엔드 학습 기능을 갖춘다.

제안 방법

• 이 방법은 후보 그립 위치, 방향, 크기를 점진적으로 개선하기 위해 다단계 공간 변환 네트워크(STN)를 사용한다.
• 각 STN 단계는 유망한 그립 영역에 집중하기 위해 공간 변환을 적용하며, 계산 비용이 높은 슬라이딩 윈도우 방식을 대체한다.
• 최종 단계는 RGB, 깊이, 표면 법선을 포함한 7채널 입력을 사용하는 깊은 잔차 네트워크(ResNet-32)를 사용하여 그립 가능성 분류를 수행한다.
• 각 후보에 대한 그립 가능성 점수에 대해 교차 엔트로피 손실을 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 아키텍처는 중간 출력을 관측할 수 있도록 하여 학습 및 추론 중 그립 후보 품질 분석이 가능하게 한다.
• 단일 GPU(GTX 1080 Ti)를 사용하며 고해상도 이미지를 실시간으로 처리한다.

실험 결과

연구 질문

• RQ1 분류 기반 그립 감지 방법이 실시간 추론 속도를 유지하면서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 다단계 STN이 브루트 포스 슬라이딩 윈도우를 효과적으로 대체하여 효율성과 해석 가능성을 향상시킬 수 있는가?
• RQ3 제안된 방법이 관측 가능한 중간 단계의 그립 후보를 제공함으로써 모델 디버깅과 학습을 향상시킬 수 있는가?
• RQ4 ImageNet과 같은 대규모 데이터셋에서의 사전 학습 없이도 다중 모odal 입력을 고려할 때 높은 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 기준 데이터셋에서 89.60%의 정확도를 달성하여, 회귀 기반 접근 방식을 포함한 모든 다른 방법을 능가했다.
• 이미지당 23.0밀리초의 처리 시간으로 단일 GPU에서 실시간 성능를 확보했다.
• 분류 기반 SAE 및 CNN 기반 기준 모델보다 크게 승리했으며, 각각 76.00% 및 82.53%의 정확도를 기록했다.
• 회귀 기반 방법은 70.67%의 정확도를 기록했지만, 훨씬 빠른 처리 속도(11.3ms/이미지)를 보였지만, 제안된 방법만큼 정확도가 높지는 않았다.
• 다단계 STN 아키텍처는 그립 후보의 부분적 관측 가능성을 가능하게 하여 모델 분석 및 학습을 용이하게 했다.
• ImageNet에서의 사전 학습 없이도 높은 성능를 달성하여, 다중 모달 로봇 인식 작업에 적합하다.