[논문 리뷰] Deep Gated Multi-modal Learning: In-hand Object Pose Changes Estimation using Tactile and Image Data

Tomoki Anzai, Kuniyuki Takahashi|arXiv (Cornell University)|2019. 09. 27.

Robot Manipulation and Learning참고 문헌 38인용 수 6

한 줄 요약

이 논문은 RGB 이미지와 GelSight 촉각 데이터를 사용하여 손 안에서 물체 자세 변화를 동적으로 추정하는 엔드 투 엔드 딥 러닝 프레임워크인 딥 게이트 다중모달 학습(DGML)을 제안한다. 이 방법은 각 모odal의 신뢰성을 자가 결정함으로써, 3D 물체 모델이 필요 없이도 가림, 노이즈, 센서 고장 상황에서도 견고한 자세 추정을 달성하며, 학습 가능한 게이트 메커니즘을 통한 적응적 모달 가중치 조정을 통해 미지의 물체로의 일반화 성능을 향상시킨다.

ABSTRACT

For in-hand manipulation, estimation of the object pose inside the hand is one of the important functions to manipulate objects to the target pose. Since in-hand manipulation tends to cause occlusions by the hand or the object itself, image information only is not sufficient for in-hand object pose estimation. Multiple modalities can be used in this case, the advantage is that other modalities can compensate for occlusion, noise, and sensor malfunctions. Even though deciding the utilization rate of a modality (referred to as reliability value) corresponding to the situations is important, the manual design of such models is difficult, especially for various situations. In this paper, we propose deep gated multi-modal learning, which self-determines the reliability value of each modality through end-to-end deep learning. For the experiments, an RGB camera and a GelSight tactile sensor were attached to the parallel gripper of the Sawyer robot, and the object pose changes were estimated during grasping. A total of 15 objects were used in the experiments. In the proposed model, the reliability values of the modalities were determined according to the noise level and failure of each modality, and it was confirmed that the pose change was estimated even for unknown objects.

연구 동기 및 목표

• 로봇 조작에서 가림, 노이즈, 센서 고장 상황에서도 손 안에서의 물체 자세 추정 문제를 해결하기 위해.
• 다중모달 센서 융합을 위한 수동으로 설계된 신뢰성 모델이 필요 없도록 하기 위해.
• 사전 3D 모델 가정 없이도 알려진 물체와 미지의 물체 모두에 대해 정확한 자세 변화 추정을 가능하게 하기 위해.
• 입력 품질과 환경 조건에 따라 모달 기여도를 자동으로 조정하는 동적이고 엔드 투 엔드 학습 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 샤페로우 로봇 그립퍼에 부착된 GelSight 센서의 순차적 RGB 이미지와 촉각 데이터를 처리하는 딥 네ural 네트워크를 사용한다.
• 이미지 및 촉각 모달에 대해 각각 신뢰도 값을 출력하는 학습 가능한 게이트 메커니즘(α 및 β)을 도입하여 동적 모달 가중치 조정을 가능하게 한다.
• 네트워크는 초기 캐치 상태에 대한 손 안에서의 시간 시리즈 물체 자세 변화(이동 및 회전)를 예측하기 위해 엔드 투 엔드로 훈련된다.
• 게이트 값은 훈련 과정에서 학습되며, 노이즈 또는 가림과 같은 입력 품질 기반으로 각 모달의 신뢰성에 대한 네트워크의 자신감을 반영한다.
• 아키텍처는 게이트 값이 각 모달의 기여도를 결정하는 가중치 합을 통해 모달 전용 특징을 융합한다.
• 이 방법은 3D 물체 모델이 필요 없어, 미리 보지 않은 물체로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 손 안에서 물체 자세 추정 과정에서 이미지 및 촉각 모달의 신뢰성을 동적으로 자동으로 판단할 수 있는가?
• RQ2 제안된 방법은 노이즈, 센서 고장, 가림 수준이 다양할 경우 어떻게 성능을 발휘하는가?
• RQ3 기존 3D 모델 정보 없이 모델은 얼마나 잘 알려지지 않은 물체로 일반화할 수 있는가?
• RQ4 학습된 신뢰도 값은 실제 센서 품질과 물체의 형태, 크기 등의 특성과 얼마나 관련이 있는가?

주요 결과

• 노이즈에 의해 촉각 입력이 손상되었을 경우, 네트워크가 이미지의 신뢰도(α)를 증가시키는 것을 성공적으로 학습하여, 열악한 모달 품질을 올바르게 인식함을 입증했다.
• 다양한 형태나 표면 특징을 가진 물체의 경우 촉각 데이터가 이미지 데이터보다 더 높은 신뢰도를 보였으며, 대부분의 경우 α 값이 0.5 이하로 나타났다.
• 표면 불규칙성이 높은 물체(예: 테이프, 렌치, 컵)는 이미지의 신뢰도가 낮았으며(α < 0.2), 이는 촉각 특징에 더 의존함을 시사한다.
• 자기 가림이나 부분적인 카메라 시야 손실을 유발하는 큰 물체의 경우 이미지의 신뢰도가 감소하여 네트워크가 촉각 입력을 우선시하는 경향을 보였다.
• 이 방법은 3D 모델 의존성 없이도 미지의 물체에 대해 견고한 자세 추정을 달성하여 일반화 성능을 확인했다.
• 신뢰도 게이트 값은 네트워크 행동에 대한 해석 가능한 통찰을 제공하였으며, 센서 열화 및 물체 특성에 따른 도전 과제에 대해 일관된 반응을 보였다.