[논문 리뷰] Inverse Optimal Control with Incomplete Observations.

Wanxin Jin, Dana Kulić외 2명|arXiv (Cornell University)|2018. 03. 21.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 14

한 줄 요약

이 논문은 비완전한 궤적 관측에서 비용 함수 가중치를 복원하기 위해 관측된 상태와 특징 가중치를 연결하는 복원 행렬을 도입함으로써, 새로운 역 최적 제어 방법을 제안한다. 이 방법은 최소한의 관측으로도 안정적이고 정확하며 강건한 비용 함수 학습을 가능하게 하며, 시뮬레이션된 로봇 암부에서 최신 기술 대비 뛰어난 성능을 입증하였다.

ABSTRACT

In this article, we consider the inverse optimal control problem given incomplete observations of an optimal trajectory. We hypothesize that the cost function is constructed as a weighted sum of relevant features (or basis functions). We handle the problem by proposing the recovery matrix, which establishes a relationship between available observations of the trajectory and weights of given candidate features. The rank of the recovery matrix indicates whether a subset of relevant features can be found among the candidate features and the corresponding weights can be recovered. Additional observations tend to increase the rank of the recovery matrix, thus enabling cost function recovery. We also show that the recovery matrix can be computed iteratively. Based on the recovery matrix, a methodology for using incomplete observations of the trajectory to recover the weights of specified features is established, and an efficient algorithm for recovering the feature weights by finding the minimal required observations is developed. We apply the proposed algorithm to learning the cost function of a simulated robot manipulator conducting free-space motions. The results demonstrate the stable, accurate and robust performance of the proposed approach compared to state of the art techniques.

연구 동기 및 목표

• 부분적 궤적이 관측 가능한 경우에 역 최적 제어의 과제를 해결하기 위해.
• 비완전한 관측에서 신뢰할 수 있는 복원이 가능한 후보 특징의 부분집합을 식별하기 위해.
• 정확한 가중치 복원을 위해 필요한 관측 수를 최소화하는 효율적인 알고리즘을 개발하기 위해.
• 관측 불확실성 하에서 비용 함수 학습을 체계적으로 정립하기 위한 프레임워크를 수립하기 위해.

제안 방법

• 이 방법은 기저 함수의 가중치 합으로 구성된 비용 함수에서 관측된 궤적 상태를 특징 가중치로 매핑하는 복원 행렬을 도입한다.
• 복원 행렬의 질서는 관련 특징의 부분집합이 유일하게 식별되고 그 가중치가 복원될 수 있는지를 결정한다.
• 복원 행렬은 반복적으로 계산되어 새로운 관측이 가용해짐에 따라 점진적인 학습이 가능하다.
• 행렬의 질서 분석을 통해 전체 가중치 복원을 달성하기 위해 필요한 최소 관측 수를 알고리즘으로 식별한다.
• 비용 함수가 특징 가중치에 대해 선형임을 가정하여 선형 대수를 통한 효율적 최적화가 가능하다.
• 매트릭스 질서 분석을 통한 특징의 관련성 활용으로, 복원에 유의미한 특징들만 선택함으로써 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 비완전한 관측에서 최적 궤적의 부분적 관측으로 비용 함수를 정확히 복원할 수 있는가?
• RQ2 비완전한 관측 조건 하에서 어떤 후보 특징의 부분집합이 고유하게 식별되고 가중치가 부여될 수 있는가?
• RQ3 안정적이고 정확한 가중치 복원을 보장하기 위해 필요한 최소 관측 수는 어떻게 결정할 수 있는가?
• RQ4 복원 행렬은 점진적이고 강건한 역 최적 제어를 어떻게 가능하게 하는가?

주요 결과

• 복원 행렬의 질서는 비완전한 관측에서 특징의 부분집합과 그 가중치가 고유하게 복원될 수 있는지를 신뢰할 수 있는 지표로 기능한다.
• 추가적인 관측은 행렬의 질서를 증가시켜 전체 비용 함수 복원 가능성을 향상시킨다.
• 복원 행렬의 반복적 계산은 최소한의 데이터 요구량으로도 효율적이고 점진적인 학습을 가능하게 한다.
• 제안된 알고리즘은 시뮬레이션된 로봇 암부 작업에서 특징 가중치 복원에 있어 안정적이고 정확하며 강건한 성능을 달성한다.
• 비완전한 관측 조건 하에서 최신 기술 대비 정확도와 강건성 면에서 뛰어난 성능을 보인다.
• 비용 함수 가중치를 복원하기 위해 필요한 최소 관측 수를 성공적으로 식별하여 데이터 의존도를 감소시켰다.