[論文レビュー] Inverse Optimal Control with Incomplete Observations.

Wanxin Jin, Dana Kulić+2 more|arXiv (Cornell University)|Mar 21, 2018

Robotics and Sensor-Based Localization参考文献 23被引用数 14

ひとこと要約

本論文は、観測された状態と特徴重みを結ぶ回復行列を導入することで、不完全な軌道観測からコスト関数重みを回復するための新しい逆最適制御手法を提案する。この手法により、最小限の観測で安定的かつ正確に、かつ頑健にコスト関数学習が可能となり、シミュレーテッド・ロボットアームでの実験で最先端手法を上回る性能を示した。

ABSTRACT

In this article, we consider the inverse optimal control problem given incomplete observations of an optimal trajectory. We hypothesize that the cost function is constructed as a weighted sum of relevant features (or basis functions). We handle the problem by proposing the recovery matrix, which establishes a relationship between available observations of the trajectory and weights of given candidate features. The rank of the recovery matrix indicates whether a subset of relevant features can be found among the candidate features and the corresponding weights can be recovered. Additional observations tend to increase the rank of the recovery matrix, thus enabling cost function recovery. We also show that the recovery matrix can be computed iteratively. Based on the recovery matrix, a methodology for using incomplete observations of the trajectory to recover the weights of specified features is established, and an efficient algorithm for recovering the feature weights by finding the minimal required observations is developed. We apply the proposed algorithm to learning the cost function of a simulated robot manipulator conducting free-space motions. The results demonstrate the stable, accurate and robust performance of the proposed approach compared to state of the art techniques.

研究の動機と目的

• 部分的な軌道しか観測できない状況における逆最適制御の課題に対処すること。
• 不完全な観測から、どの候補特徴のサブセットを信頼性を持って回復できるかを特定すること。
• 正確な重み回復に必要な観測数を最小限に抑える効率的なアルゴリズムを開発すること。
• 観測の不確実性下でもコスト関数学習の体系的フレームワークを確立すること。

提案手法

• 本手法は、基本関数の重み付き和からなるコスト関数における観測された軌道状態と特徴重みを結ぶ回復行列を導入する。
• 回復行列のランクが、関連する特徴のサブセットが一意に特定可能かどうか、およびその重みが回復可能かどうかを決定する。
• 回復行列は反復的に計算され、新たな観測が得られるたびに段階的な学習が可能になる。
• 行列のランクを分析することで、完全な重み回復を達成するために必要な最小観測数を同定する。
• コスト関数が特徴重みに関して線形であると仮定することで、線形代数を用いた効率的な最適化が可能になる。
• 行列ランク分析を通じて特徴の重要度を活用し、回復に有用な特徴のみを選択することで、情報の多い特徴が選ばれる。

実験結果

リサーチクエスチョン

• RQ1 不完全な最適軌道の観測から、コスト関数を正確に回復できるか？
• RQ2 不完全な観測条件下で、どの候補特徴のサブセットが一意に特定可能であり、重み付け可能か？
• RQ3 安定的かつ正確な重み回復を保証するために、必要な最小観測数はどのように特定できるか？
• RQ4 回復行列は、段階的かつ頑健な逆最適制御をどのように可能にするか？

主な発見

• 回復行列のランクは、不完全な観測から特徴のサブセットおよびその重みが一意に回復可能かどうかを示す信頼できる指標である。
• 追加の観測により行列ランクが上昇し、結果としてコスト関数の完全な回復の可能性が向上する。
• 回復行列の反復的計算により、最小限のデータ要件で効率的かつ段階的な学習が可能になる。
• 提案されたアルゴリズムは、シミュレーテッド・ロボットアームタスクにおいて、特徴重みの回復において安定的で正確かつ頑健な性能を発揮した。
• 不完全な観測条件下でも、最先端技術を上回る精度と頑健性を示した。
• コスト関数重みを回復するために必要な最小観測数を効果的に同定し、データ依存性を低減した。