[論文レビュー] Human irrationality: both bad and good for reward inference

Lawrence S. Chan, Andrew Critch+1 more|arXiv (Cornell University)|Nov 12, 2021

Reinforcement Learning in Robotics参考文献 32被引用数 7

ひとこと要約

この論文は、人間の非合理性を適切にモデル化することで、行動と報酬の間の相互情報量を増加させることで、逆強化学習における報酬推定を向上させられることを示している。これは、合理的な人間の行動でさえも上回る。著者らは、MDPにおけるベルマン最適性方程式からの逸脱として非合理性を形式化し、短視眼的またはバイアスのある意思決定が、特にロボットが非合理性のタイプを正確にモデル化している場合、合理的な意思決定よりも人間の示し示しをより情報豊かにする可能性があることを示している。

ABSTRACT

Assuming humans are (approximately) rational enables robots to infer reward functions by observing human behavior. But people exhibit a wide array of irrationalities, and our goal with this work is to better understand the effect they can have on reward inference. The challenge with studying this effect is that there are many types of irrationality, with varying degrees of mathematical formalization. We thus operationalize irrationality in the language of MDPs, by altering the Bellman optimality equation, and use this framework to study how these alterations would affect inference. We find that wrongly modeling a systematically irrational human as noisy-rational performs a lot worse than correctly capturing these biases -- so much so that it can be better to skip inference altogether and stick to the prior! More importantly, we show that an irrational human, when correctly modelled, can communicate more information about the reward than a perfectly rational human can. That is, if a robot has the correct model of a human's irrationality, it can make an even stronger inference than it ever could if the human were rational. Irrationality fundamentally helps rather than hinder reward inference, but it needs to be correctly accounted for.

研究の動機と目的

• 異なるロボットモデルと組み合わせた場合の、人間の非合理性が報酬推定性能に与える影響を調査すること。
• 非合理的な人間の行動が、報酬学習において合理的な行動よりも情報量が多くなるかどうかを特定すること。
• 非合理的な人間を正しくモデル化した場合と、ノイズを含む合理的な人間と誤ってモデル化した場合の性能差を評価すること。
• 非合理的な人間の近似モデルが、標準的なノイズを含む合理的な仮定を上回るかどうかを調査すること。
• ロボットが人間の非合理性を正しくモデル化している場合の報酬推定性能の上限を評価すること。

提案手法

• MDPにおけるベルマン最適性方程式からの逸脱として非合理的な行動を形式化し、不完全な最大化やバイアスのある遷移関数を含む。
• ベルマン更新を体系的に変更することで、短視眼的行動やハイパーボリック割引といったさまざまな非合理的行動タイプをシミュレートするフレームワークを用いる。
• ログ損失を指標として用い、ランダムMDP、グリッドワールド、自律走行ドメインの3つの環境で報酬推定性能を評価する。
• ノイズを含む合理的（ボルツマン）モデル、短視眼的プランナ、正しく指定された非合理的モデルの3つの異なる人間モデルの下での推定性能を比較する。
• 行動と報酬の間の相互情報量を測定し、非合理的な行動がなぜ情報量が多くなるかを理論的に説明する。
• パラメータやタイプの誤設定を含むアブレーションスタディを実施し、非合理的な行動モデルのロバストネスをテストする。

実験結果

リサーチクエスチョン

• RQ1 人間の非合理的行動をノイズを含む合理的な行動と誤ってモデル化した場合、正しく非合理的な行動をモデル化した場合よりも報酬推定性能が悪化するか？
• RQ2 非合理的な人間の行動が正しくモデル化された場合、完全に合理的な人間の行動よりも報酬に関する情報を多く提供できるか？
• RQ3 さまざまな非合理的行動タイプの下で、行動と報酬の間の相互情報量はどのように変化するか？
• RQ4 非合理的な行動の近似モデルでさえ、標準的なノイズを含む合理的な仮定を上回る性能を示せるか？
• RQ5 ロボットが人間の非合理的行動を正しくモデル化している場合、報酬推定性能の上限はどの程度か？

主な発見

• 人間が完全に合理的であっても、人間の非合理的行動を正しくモデル化した場合、合理的な人間をモデル化した場合よりも報酬推定性能が向上する。
• 短視眼的行動は、ポリシーと報酬の間の相互情報量を増加させ、結果として合理的な行動よりも根本的に情報量が多くなる。これは、一部の状況では報酬の変化に対して感度が保たれないためである。
• ロボットが人間の合理性を誤って仮定した場合（例：ボルツマン的合理性）、特に系統的なバイアスがある場合、事前分布を用いるよりも推定性能が著しく悪化する。
• パラメータが誤っていようとも、正しい非合理的行動タイプ（例：短視眼的行動）をモデル化した場合、ノイズを含む合理的な仮定よりも推定性能が向上する。
• 自律走行ドメインでも、短視眼的行動の人間の行動は合理的な行動よりも強い報酬推定を可能にし、高次元で連続的な環境でも同様の結果が確認された。
• 理論的分析により、特定の非合理的行動が行動と報酬の間の相互情報量を任意に増加させられることを証明しており、これは合理的な行動よりも情報量が多くなることを示している。