[論文レビュー] What Would Jiminy Cricket Do? Towards Agents That Behave Morally

Dan Hendrycks, Mantas Mazeika+7 more|arXiv (Cornell University)|Oct 25, 2021

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本論文では、人工エージェントの道徳的行動を評価・誘導するための、密度のある道徳的アノテーションが施された25のテキストベースのアドベンチャーゲームからなる『Jiminy Cricket』を紹介する。事前学習済み言語モデルを『人工的良心』として活用することで、タスクパフォーマンスを損なうことなく、エージェントを道徳的に適切な行動へと導く手法を提案する。本手法により、意味的に豊かで複雑な環境において、道徳的に不適切な行動が顕著に減少することが示された。

ABSTRACT

When making everyday decisions, people are guided by their conscience, an internal sense of right and wrong. By contrast, artificial agents are currently not endowed with a moral sense. As a consequence, they may learn to behave immorally when trained on environments that ignore moral concerns, such as violent video games. With the advent of generally capable agents that pretrain on many environments, it will become necessary to mitigate inherited biases from environments that teach immoral behavior. To facilitate the development of agents that avoid causing wanton harm, we introduce Jiminy Cricket, an environment suite of 25 text-based adventure games with thousands of diverse, morally salient scenarios. By annotating every possible game state, the Jiminy Cricket environments robustly evaluate whether agents can act morally while maximizing reward. Using models with commonsense moral knowledge, we create an elementary artificial conscience that assesses and guides agents. In extensive experiments, we find that the artificial conscience approach can steer agents towards moral behavior without sacrificing performance.

研究の動機と目的

• 報酬最大化を目的とする環境で学習するAIエージェントに道徳的誘導が欠如しているという問題に対処すること。
• 意味的に豊かなテキストベースの環境における道徳的行動の評価のためのベンチマークを構築すること。
• 人間による詳細なフィードバックに依存せずに、外部の道徳的知識を用いてエージェントを道徳的行動へと誘導する手法を開発すること。
• 事前学習済み言語モデルが、エージェントの道徳的意思決定を支援する『人工的良心』として機能できるかどうかを調査すること。

提案手法

• Jiminy Cricket環境スイートは、全ゲームステートに対して道徳的価値がアノテートされた25のInfocomテキストアドベンチャーゲームから構成され、ソースコードを含む完全な実装が提供される。
• 各行動はその道徳的価値と深刻度がラベル付けされており、多様なシナリオにおける道徳的行動の細分化された評価が可能になる。
• 事前学習済み言語モデルを用いて『人工的良心』を実装し、行動の道徳的価値を予測する。その予測結果がエージェントの方策を条件づける。
• エージェントの行動選択が、言語モデルの道徳的判断に基づいて道徳的に好ましい結果に一致するように、条件付け機構を採用する。
• 本手法はゼロショット設定で評価され、エージェントは道徳データでファインチューニングされていないが、言語モデルからの道徳埋め込みによって誘導される。
• フレームワークはJerichoテキストゲーム環境に統合され、実行にはFrotzインタプリタが使用され、既存の強化学習エージェントとの互換性が確保される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、複雑な環境においてエージェントを道徳的に適切な意思決定へと誘導する『人工的良心』として効果的に機能するか？
• RQ2 道徳的誘導を、人間による詳細なフィードバックや道徳データでのファインチューニングなしにどの程度適用できるか？
• RQ3 道徳的条件付けは、明確でないかペナルティのない報酬を持つテキストベースのゲームにおいて、タスクパフォーマンスと報酬最大化にどのように影響するか？
• RQ4 多様な道徳的シナリオにおける、道徳的条件付けの有効性に影響を与える要因は何か？
• RQ5 『人工的良心』アプローチは、盗難、暴力、利他行動を含む幅広い道徳的重要な状況に一般化可能か？

主な発見

• 『人工的良心』アプローチにより、タスクパフォーマンスを損なうことなく、エージェントの道徳的に不適切な行動が顕著に減少した。これは、道徳的誘導がパフォーマンスのトレードオフを伴わずに適用可能であることを示している。
• 『人工的良心』によって誘導されたエージェントは、環境にペナルティが設けられていないにもかかわらず、盗難、暴力、破壊を伴う行動が著しく減少した。
• 本手法は、利他行動、動物虐待、飲酒など多様な道徳的シナリオに効果的に一般化され、25のゲームにわたる一貫した道徳的整合性が確認された。
• アブレーションスタディの結果、道徳埋め込みの品質と条件付け機構の選択がパフォーマンスに強く影響することが示され、重要な設計上のトレードオフが明らかになった。
• 本フレームワークは、複雑で意味的に豊かな環境における道徳的行動の評価を可能にし、将来的なアライメント研究のためのスケーラブルなベンチマークを提供する。
• Jiminy CricketデータセットはCC BY 4.0およびMITライセンスの下で公開されており、再現性と道徳的強化学習分野におけるさらなる研究を支援する。