[論文レビュー] On Ensuring that Intelligent Machines Are Well-Behaved

Philip S. Thomas, Bruno Castro da Silva+2 more|arXiv (Cornell University)|Aug 17, 2017

Reinforcement Learning in Robotics参考文献 84被引用数 10

ひとこと要約

この論文は、機械学習のアルゴリズム設計者が、望ましくない行動に関する確率的制約を直接アルゴリズム設計に組み込むことにより、有害な結果を高確率で回避できるSeldonian最適化フレームワークを導入する。安全な行動の責任をユーザーから設計者に移すことで、広範な分野知識やデータ分析を必要とせず、差別的で有害または危険な行動を事前に排除するアルゴリズムの作成が可能になる。

ABSTRACT

Machine learning algorithms are everywhere, ranging from simple data analysis and pattern recognition tools used across the sciences to complex systems that achieve super-human performance on various tasks. Ensuring that they are well-behaved---that they do not, for example, cause harm to humans or act in a racist or sexist way---is therefore not a hypothetical problem to be dealt with in the future, but a pressing one that we address here. We propose a new framework for designing machine learning algorithms that simplifies the problem of specifying and regulating undesirable behaviors. To show the viability of this new framework, we use it to create new machine learning algorithms that preclude the sexist and harmful behaviors exhibited by standard machine learning algorithms in our experiments. Our framework for designing machine learning algorithms simplifies the safe and responsible application of machine learning.

研究の動機と目的

• 実世界の応用において知能的なマシンが安全かつ責任を持って振る舞うことを保証するという重要な課題に対処すること。
• ユーザーが目的関数や可能集合の間接的変更を通じて行動を制約する必要がある、標準的な機械学習アプローチの限界を特定すること。
• アルゴリズム設計段階で行動に関する確率的制約を直接指定できる、新しいフレームワーク「Seldonian最適化」を提案すること。
• このフレームワークが、偏見や危険な行動といった有害な行動を高確率で排除するアルゴリズムの作成を可能にすることを示すこと。
• 特に、ユーザーが機械学習の専門知識を持たない高リスク分野において、良好な行動を保証する責任をユーザーからアルゴリズム設計者に移すこと。

提案手法

• 問題をSeldonian最適化問題として形式化：n個の行動制約に対して、Pr(gi(a(D)) ≤ 0) ≥ 1 − δi を満たすように、アルゴリズムの効用関数f(a)を最大化する。
• アルゴリズム空間Aを定義し、最適化の目的を最適解θ⋆の選択から、安全制約を満たす良好な行動をとるアルゴリズムaの選択に再定式化する。
• 不適切な行動（性能の低下や偏りのある結果など）が発生する確率が最大δ以下であることを保証するための確率的保証を用いる。
• 目的関数や可能集合への間接的なエンコードに依存せず、アルゴリズム設計プロセスに直接制約を統合する。
• 強化学習および制御問題にこのフレームワークを適用し、ガウス過程と信頼区間を用いて安全制約を推定・強制する。
• 既存のアルゴリズム（デジタルマーケティング用や状態回避制御用など）が、このフレームワーク下で（準）Seldonianアルゴリズムとして解釈できることを示す。

実験結果

リサーチクエスチョン

• RQ1 機械学習アルゴリズムは、ユーザーが機械学習の専門知識を保持していなくても、望ましくない行動が高確率で排除されるように、どのように設計できるか？
• RQ2 目的関数や可能集合への間接的変更ではなく、アルゴリズム設計プロセスに直接行動制約を埋め込むための汎用的フレームワークは何か？
• RQ3 Seldonian最適化フレームワークは、強化学習、教師あり学習、制御など多様な機械学習分野に適用可能か？
• RQ4 非専門家ユーザーにとっての安全性の保証と使いやすさの観点から、Seldonianアルゴリズムは標準的手法と比べてどのように異なるか？
• RQ5 文献に既存するアルゴリズムは、この新しい形式的定式化下で、Seldonianまたは準Seldonianアルゴリズムの例として解釈可能か？

主な発見

• Seldonian最適化フレームワークにより、アルゴリズム設計プロセスに確率的制約を直接埋め込むことで、望ましくない行動が高確率で排除される機械学習アルゴリズムの設計が可能になる。
• このフレームワークにより、安全なデプロイを非専門家にとってもより容易に実現できるよう、安全の責任がユーザーからアルゴリズム設計者に移行する。
• デジタルマーケティングや制御システム分野の既存アルゴリズムは、（準）Seldonianアルゴリズムとして解釈可能であり、フレームワークの汎用性と実用的妥当性を裏付ける。
• このフレームワークは標準的な機械学習最適化問題を一般化し、ロバスト最適化やチャンス制約を用いる既存のアプローチを包含する。
• ガウス過程による保守的推定（例：信頼区間の使用）を用いることで、データが限られた状況下でも安全制約が高確率で満たされることを保証する。
• 実験により、性能の低下、偏り、危険な状態遷移といった有害な行動が、強化学習および制御応用の文脈で効果的に防止されていることが示された。