[논문 리뷰] Learning Constraints from Demonstrations

Glen Chou, Dmitry Berenson외 1명|arXiv (Cornell University)|2018. 12. 17.

Fault Detection and Control Systems참고 문헌 30인용 수 17

한 줄 요약

이 논문은 안전한 시범, 시스템 동역학 및 비용 함수를 사용하여 로봇 작업 간에 공유되는 알 수 없는 제약 조건을 학습하는 방법을 제안한다. 시범으로부터 비용이 낮은(안전하지 않은) 궤적을 샘플링하고 역정수계획문제를 해결하여, 안전하지 않은 영역의 보장된 하한근사치를 복구한다. 이는 선형 및 비선형 동역학에 걸쳐 일반화되며, 특징 공간으로까지 확장된다.

ABSTRACT

We extend the learning from demonstration paradigm by providing a method for learning unknown constraints shared across tasks, using demonstrations of the tasks, their cost functions, and knowledge of the system dynamics and control constraints. Given safe demonstrations, our method uses hit-and-run sampling to obtain lower cost, and thus unsafe, trajectories. Both safe and unsafe trajectories are used to obtain a consistent representation of the unsafe set via solving an integer program. Our method generalizes across system dynamics and learns a guaranteed subset of the constraint. We also provide theoretical analysis on what subset of the constraint can be learnable from safe demonstrations. We demonstrate our method on linear and nonlinear system dynamics, show that it can be modified to work with suboptimal demonstrations, and that it can also be used to learn constraints in a feature space.

연구 동기 및 목표

• 다양한 로봇 작업 간에 명시적인 프로그래밍 없이도 공유되는 잠재적 제약 조건을 학습하는 데 도전하는 것.
• 오직 시범과 알려진 시스템 동역학만을 사용하여 로봇이 다양한 작업 간에 안전 제약 조건을 일반화할 수 있도록 하는 것.
• 안전한 시범으로부터 진짜 안전하지 않은 영역의 부분집합이 보장되게 복구되는 이론적으로 탄탄한 방법을 제공하는 것.
• 상태 및 궤적 공간을 넘어서, 이동 로봇 주행에서의 지형 경사도와 같은 추상적 특징 공간으로 제약 조건 학습을 확장하는 것.
• 하나의 인간 행동이 최적화되지 않은 시범을 처리하기 위해 비용에 상대적인 확률적 안전 레이블을 도입하여 실제 세계의 인간 행동에 대한 강건성을 향상시키는 것.

제안 방법

• 안전하고 최적의 시범을 사용하여 히트-앤드-런 샘플링을 통해 비용이 낮은 궤적을 생성하며, 이들이 알려지지 않은 제약 조건을 위반한다고 가정한다.
• 표본화된 궤적들이 알려진 제약 조건(동역학, 제어 한계, 출발/도착 조건)을 만족하도록 보장하여 타당성을 유지한다.
• 안전 및 비안전 궤적을 모두 사용하여 안전하지 않은 영역의 일관된 표현을 추론하기 위해 역정수계획문제를 설정한다.
• 안전하지 않은 영역을 이산화된 제약 공간(예: 상태, 특징, 또는 궤적 공간)에서 초직사각형의 합집합으로 표현한다.
• 궤적 이산화, 동역학, 시범 커버리지 기반으로 학습 가능성의 한계를 이론적으로 분석한다.
• 비용이 시범에 비해 상대적으로 낮은 궤적에 대해 확률적 안전 레이블을 할당하여 최적화되지 않은 시범에 적응한다.

실험 결과

연구 질문

• RQ1 시스템 동역학과 비용 함수를 고려할 때, 안전하고 최적의 시범으로부터 어떤 부분집합의 안전하지 않은 제약 조건을 신뢰성 있게 학습할 수 있는가?
• RQ2 상태나 궤적 공간 외에 특징 공간(예: 지형 경사도)에서 제약 조건을 어떻게 학습할 수 있는가?
• RQ3 이 방법은 선형 및 비선형 시스템(예: 두빙스의 자동차)을 포함한 다양한 시스템 동역학으로 일반화될 수 있는가?
• RQ4 이 방법은 최적화되지 않은 인간의 시범을 어떻게 처리하며, 이는 학습된 제약 조건 정확도에 어떤 영향을 미치는가?
• RQ5 진짜 안전하지 않은 영역에 대한 하한근사치에 대해 이론적 보장은 무엇이며, 궤적 이산화와 시범 다양성에 따라 어떻게 달라지는가?

주요 결과

• 단일 및 이중 적분기 동역학에서 조차, 몇 개의 시범만으로도 진짜 안전하지 않은 영역의 보장된 하한근사치를 성공적으로 복구한다.
• 두빙스의 자동차 모델에서, 이 방법은 안전하지 않은 영역의 상당 부분을 복구하며, 시범 다양성이 증가할수록 성능이 향상된다.
• 최적화되지 않은 시범 실험에서, 이 방법은 이론적 보장을 유지하며, 확률적 레이블링에도 불구하고 학습된 안전하지 않은 영역이 진짜 안전하지 않은 영역의 부분집합으로 남아 있다.
• 특징 공간에서 지형 경사도 제약 조건을 정확히 복구하며, 단 하나의 RRT*-생성 시범으로부터 임계값 $φ(x) < 0.05$ 를 학습한다.
• 궤적 이산화와 시범 커버리지로 인해 학습 성능이 제한되며, 고비용 영역을 통과하는 단축 경로가 없는 영역는 여전히 학습되지 않는다.
• 레이블링 불확실성으로 인해 최적화되지 않은 설정에서 MSE가 증가하지만, 여전히 타당하고 보수적인 안전하지 않은 영역의 하한근사치를 생성한다.