[論文レビュー] Scalar reward is not enough: A response to Silver, Singh, Precup and Sutton (2021)

Peter Vamplew, Benjamin J. Smith+10 more|arXiv (Cornell University)|Nov 25, 2021

Receptor Mechanisms and Signaling被引用数 6

ひとこと要約

この論文は、スカラー報酬が、対立する目的を表現できないため、一般知能をモデル化するには不十分であると主張することで、'報酬があれば十分'仮説に挑戦している。著者たちは、より安全で、透明性が高く、倫理的に整合した人工一般知能（AGI）を実現するため、ベクトル値報酬を用いた多目的強化学習を提唱している。特に、スカラー報酬は、複雑な環境における倫理的でない、あるいは安全でない行動を引き起こすリスクを伴うと強調している。

ABSTRACT

The recent paper `"Reward is Enough" by Silver, Singh, Precup and Sutton posits that the concept of reward maximisation is sufficient to underpin all intelligence, both natural and artificial. We contest the underlying assumption of Silver et al. that such reward can be scalar-valued. In this paper we explain why scalar rewards are insufficient to account for some aspects of both biological and computational intelligence, and argue in favour of explicitly multi-objective models of reward maximisation. Furthermore, we contend that even if scalar reward functions can trigger intelligent behaviour in specific cases, it is still undesirable to use this approach for the development of artificial general intelligence due to unacceptable risks of unsafe or unethical behaviour.

研究の動機と目的

• Silverら（2021）が提示した、スカラー報酬の最大化がすべての知能に十分であるという仮定に挑戦すること。
• スカラー報酬が、生物学的知能および人工知能に内在する多目的意思決定を適切に表現できないことの実証。
• スカラー報酬に基づくAGIが、安全でない、あるいは倫理的に不適切な行動をとるという、受け入れがたいリスクを伴うと主張すること。
• 多目的強化学習にベクトル値報酬を用いることで、AGI開発のより安全で、透明性が高く、倫理的に整合した代替手法を提唱すること。
• AGIの展開において、継続的な監視と適応を可能にするための、見直し・調整サイクルの推進を提言すること。

提案手法

• 著者たちは、複数の対立する目的を表現するうえでスカラー報酬に内在する理論的限界を分析している。
• スカラー報酬とベクトルベースの報酬フレームワークを比較し、複雑な多ゴール行動をモデル化するうえでベクトル報酬の利点を強調している。
• 自然知能、とりわけ人間や動物の認知をモデル化するうえでスカラー報酬の限界を検証している。
• 政策の選択、実行、結果評価に基づき、見直し・調整に基づくAGI展開フレームワークを提唱している。
• 多目的モデルが、超知能システムにおけるだましや制御不能な行動のリスクを低減し、透明性を高めることを主張している。
• 社会的価値と整合するようにAGIを設計するにあたり、明示的な多目的構造をとることが倫理的義務であると強調している。

実験結果

リサーチクエスチョン

• RQ1 スカラー報酬は、自然知能および人工知能に内在する多目的性を適切に表現できるか？
• RQ2 AGI開発に単独でスカラー報酬最大化に依存することの理論的・実務的限界は何か？
• RQ3 多目的強化学習は、人工一般知能の安全性および倫理的整合性をどのように向上させ得るか？
• RQ4 スカラー報酬最大化は、知能エージェントにおける安全でない、あるいは倫理的に不適切な行動のリスクをどのように高めるか？
• RQ5 見直し・調整メカニズムは、AGIシステムにおける監視および透明性をどのように向上させるか？

主な発見

• スカラー報酬は、自然知能および人工知能の両方に根ざした複数の対立する目的を適切に表現できない。
• スカラー報酬の使用は、強化学習から生じる行動の範囲を制限し、複雑な多ゴール状況に対処する能力を制限する。
• スカラー報酬が特定の状況では知能的行動を引き起こす可能性があるとしても、人工一般知能の開発には不十分であり、危険である。
• ベクトル値報酬は、複数の目的を明示的にモデル化することで、より透明性が高く、適応可能で、倫理的に整合したAIシステムを実現する。
• 多目的強化学習に基づく見直し・調整サイクルは、監視を強化し、予期しない、あるいは有害な行動のリスクを低減する。
• 著者たちは、スカラー報酬最大化が、安全で倫理的に整合したAGI開発の基盤として十分ではなく、望ましくないものであると結論づけている。