[論文レビュー] Learning Norms from Stories: A Prior for Value Aligned Agents

Spencer Frazier, Sultan Al Nahian+2 more|arXiv (Cornell University)|Dec 7, 2019

Topic Modeling参考文献 29被引用数 10

ひとこと要約

本論文では、規範的（Gallant）および非規範的（Goofus）行動を対比する『Goofus & Gallant』コミックストリップのコーパスを用いて、AIエージェントの価値対応の事前分布を学習する手法を提案する。トランスフォーマーに基づくモデルは、関連しない物語データセットにおいて高いゼロショット転移性能を達成しており、これは物語から学習された規範が、追加の微調整なしに、一般化可能な価値対応の事前分布として強力に機能しうることを示している。

ABSTRACT

Value alignment is a property of an intelligent agent indicating that it can only pursue goals and activities that are beneficial to humans. Traditional approaches to value alignment use imitation learning or preference learning to infer the values of humans by observing their behavior. We introduce a complementary technique in which a value aligned prior is learned from naturally occurring stories which encode societal norms. Training data is sourced from the childrens educational comic strip, Goofus and Gallant. In this work, we train multiple machine learning models to classify natural language descriptions of situations found in the comic strip as normative or non normative by identifying if they align with the main characters behavior. We also report the models performance when transferring to two unrelated tasks with little to no additional training on the new task.

研究の動機と目的

• 直接模倣学習に依存しない一般化可能な価値対応のための機械学習的事前分布を開発すること。
• 模倣学習の限界、たとえば大量のデータを要することや、学習中に有害な行動をとるリスクを是正すること。
• 子供向けのコミックを含む、自然に存在する物語を、規範的および非規範的行動のラベル付きデータとして活用すること。
• 物語コーパスで学習したモデルが、追加のラベルなしに、関連のないタスクに一般化できるかどうかを評価すること。
• 文化的に特異な規範を用いて価値対応のAIシステムを訓練する際の倫理的課題と、こうした事前分布の悪用リスクを検討すること。

提案手法

• 『Goofus & Gallant』（G&G）コミックストリップコーパスを、明確な規範的および非規範的行動ラベルを備えたデータセットとして用いる。
• 物語の出来事の自然言語記述を抽出し、登場人物の行動に基づいて規範的または非規範的と分類する。
• BERT や RoBERTa などの複数の機械学習モデルを、G&Gコーパス上で微調整して規範分類を学習する。
• ゼロショット転移を、関連しない2つのデータセットである Plotto（現実的で日常的な出来事）およびSF物語要約データセットで評価する。
• 新しいタスクの少量のラベル付きデータを用いて微調整を行い、性能向上を評価する。
• 標準的な分類指標を用いて、ゼロショットおよび少データショットの転移性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルは、自然に存在する物語コーパスから、高い正確性で規範的および非規範的行動を分類できるか？
• RQ2 G&Gで事前学習したモデルは、追加の微調整なしに、関連のない物語的ドメインにどの程度一般化できるか？
• RQ3 新しいタスクの少量のタスク固有のラベル付きデータへのアクセスが、物語で学習したモデルの性能にどのように影響するか？
• RQ4 学習されたモデルは、従来の模倣学習と補完的に機能する強固な事前分布として機能できるか？
• RQ5 文化的に特異な物語コーパスを用いて価値対応のAIシステムを訓練する際の倫理的リスクは何か？

主な発見

• BERT や RoBERTa などのトランスフォーマーに基づくモデルは、Plotto および SF物語の物語データセットにおいて、高いゼロショット転移性能を達成しており、物語ベースの規範から強力な一般化が可能であることを示している。
• ゼロショット転移性能は、非トランスフォーマーのモデルよりも顕著に高く、トランスフォーマーのモデルが大幅に優れている。
• 新しいタスクの少量のラベル付き例で微調整を施すと、モデルの正確性は、元の Goofus & Gallant データセットでの性能にほぼ達するようになる。
• 最高のパフォーマンスを示したモデルは、未観測の G&G 物語の記述における規範的行動の分類において高い正確性を達成しており、コーパスからの効果的な学習が確認された。
• 結果から、物語ベースのコーパスは、高価なデモンストレーションに依存するのを減らす強力で再利用可能な価値対応の事前分布として機能しうることが示された。
• 本研究は、学習された規範の文化的特異性を浮き彫りにした。G&Gコーパスはアメリカの社会的価値観を反映しており、他の文化からの類似したデータセットを用いることで、文化的に適切な事前分布を訓練できる可能性がある。