[논문 리뷰] Learning Robust Bed Making using Deep Imitation Learning with DART

Michael Laskey, Chris Powers외 3명|arXiv (Cornell University)|2017. 11. 07.

Robot Manipulation and Learning참고 문헌 14인용 수 17

한 줄 요약

이 논문은 인간의 시연 수집 중 로봇 오류를 시뮬레이션함으로써 정책 일반화를 향상시키는 DART라는 방법을 사용한 딥 임itation 러닝을 활용해 이동형 로봇을 위한 강력한 침대 정리 시스템을 제안한다. DART를 사용해 50회의 시범을 훈련시킨 로봇는 방해 요소가 있는 상황에서도 96%의 시트 커버리지율을 달성했으며, 코너 검출 기반 기준선 대비 200% 향상된 성능을 보였다.

ABSTRACT

Bed-making is a universal home task that can be challenging for senior citizens due to reaching motions. Automating bed-making has multiple technical challenges such as perception in an unstructured environments, deformable object manipulation, obstacle avoidance and sequential decision making. We explore how DART, an LfD algorithm for learning robust policies, can be applied to automating bed making without fiducial markers with a Toyota Human Support Robot (HSR). By gathering human demonstrations for grasping the sheet and failure detection, we can learn deep neural network policies that leverage pre-trained YOLO features to automate the task. Experiments with a 1/2 scale twin bed and distractors placed on the bed, suggest policies learned on 50 demonstrations with DART achieve 96% sheet coverage, which is over 200% better than a corner detector baseline using contour detection.

연구 동기 및 목표

• 노인층이 신체적으로 부담감을 느끼는 침대 정리 작업의 자동화에 도전한다.
• 변형 가능한 물체 조작, 장애물 회피, 순차적 의사결정과 같은 비정형 환경에서의 기술적 과제를 해결한다.
• 가정 내 물체나 조명 변화와 같은 실제 세계의 요동에 대한 정책의 강건성을 향상시킨다.
• 사전 훈련된 YOLO 특징을 활용한 전이 학습을 통해 대규모 시범 데이터셋에 대한 의존도를 줄인다.
• DART를 사용해 데이터 수집 중 소규모 오류를 시뮬레이션하고 복구 능력을 훈련시킴으로써 임itation 러닝에서의 공변수 이동 문제를 완화한다.

제안 방법

• 로봇이 침대 프레임 쪽으로 시트 모서리를 잡고 당기는 방식으로 Toyota HSR 로봇을 사용해 침대 정리 작업을 수행한다.
• 인간의 시범을 기반으로 그립 선택 및 전이 성공 여부 검출을 위한 딥 네ural 네트워크 정책을 훈련시킨다.
• 표현 샘플 효율성을 향상시키기 위해 시각적 상태 표현을 위해 사전 훈련된 YOLO 특징을 활용한다.
• DART(Dataset Aggregation with Robust Training)를 적용해 인간의 시범에 소규모 최적화된 노이즈를 주입함으로써 데이터 수집 중 로봇 오류를 시뮬레이션한다.
• 비정책 기반 임itation 러닝을 사용해 미리 정의되지 않은 상태로 일반화되고 오차 복구 능력을 갖춘 정책을 훈련시킨다.
• 로봇의 내부 운동 계획 시스템을 통합해 신체 동작을 제어하고, 임itation 러닝의 초점을 시각 기반 의사결정 구성 요소에 집중시킨다.

실험 결과

연구 질문

• RQ1 피아노 마커 없이도 일반적인 가정 내 방해 요소가 존재하는 환경에서 로봇이 침대 정리를 강건하게 학습할 수 있는가?
• RQ2 변형 가능한 물체 조작에 대한 임itation 러닝에서 DART는 표준 행동 클로닝 대비 정책 일반화를 어떻게 향상시키는가?
• RQ3 사전 훈련된 YOLO 특징에서의 전이 학습은 침대 정리 작업을 위한 필요 시범 수를 얼마나 줄일 수 있는가?
• RQ4 시범 수집 중 시뮬레이션된 오류를 주입함으로써 공변수 이동 문제를 어떻게 줄이고 실제 세계 성능을 향상시킬 수 있는가?
• RQ5 방해 요소가 존재하는 조건에서 DART로 훈련된 정책은 윤곽 기반 코너 검출과 같은 히우리스틱 방법 대비 얼마나 더 높은 성능을 보이는가?

주요 결과

• DART로 훈련된 정책는 방해 요소(예: 장난감, 장난감 등)가 있는 ½ 스케일 침대에서 96%의 시트 커버리지율을 달성했으며, 윤곽 검출 기반의 코너 검출 기준선 대비 200% 향상된 성능을 보였다.
• 방해 요소가 없을 경우, DART로 훈련된 정책는 감독자의 성능을 2% 이내로 재현하여 높은 정밀도의 모방을 보였다.
• 표준 행동 클로닝 대비 DART는 데이터 수집 중 27개의 실패 유형을 감독자에게 노출시켜 실제 실행 분포에서 정책 오차를 감소시켰다. 반면 표준 행동 클로닝은 오직 2개의 실패 유형만 노출시켰다.
• DART로 훈련된 그립 정책는 훈련 중 더 넓은 다양성의 시각적 상태에 노출됨으로써 미리 정의되지 않은 상태로의 일반화 능력이 뛰어났다.
• DART로 훈련된 전이 정책는 표준 행동 클로닝 대비 로봇의 실행 분포에서 오차가 현저히 낮아 공변수 이동 문제 감소가 확인되었다.
• 평균적으로 각 시범이 30초 더 오래 걸리더라도, DART는 소규모 복구 가능한 오류 덕분에 데이터 수집 중 98%의 시트 커버리지율을 유지했다.