[論文レビュー] Learning from Learning Machines: Optimisation, Rules, and Social Norms

Travis LaCroix, Yoshua Bengio|arXiv (Cornell University)|Dec 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 94被引用数 4

ひとこと要約

本稿は、AI や企業のような複雑適応系を道徳的・社会的規範と一致させるために、高水準の原則や最適化目的といった暗黙的規定が、明示的ルールを上回ることを主張している。ディープラーニングの成功に裏付けられ、明確なルールではなく、一般的な目的（例：共通の利益）を最適化することで、高次元で現実の制約が存在する状況下でも、より頑健で道徳的に整合性のある行動が得られるとする。

ABSTRACT

There is an analogy between machine learning systems and economic entities in that they are both adaptive, and their behaviour is specified in a more-or-less explicit way. It appears that the area of AI that is most analogous to the behaviour of economic entities is that of morally good decision-making, but it is an open question as to how precisely moral behaviour can be achieved in an AI system. This paper explores the analogy between these two complex systems, and we suggest that a clearer understanding of this apparent analogy may help us forward in both the socio-economic domain and the AI domain: known results in economics may help inform feasible solutions in AI safety, but also known results in AI may inform economic policy. If this claim is correct, then the recent successes of deep learning for AI suggest that more implicit specifications work better than explicit ones for solving such problems.

研究の動機と目的

• 機械学習システムと経済的実体の間の類似性を調査し、制約下でのパフォーマンス最適化を行う複雑適応系としての両者の類似性を明らかにすること。
• AI や社会経済的システムにおいて、明示的ルールが道徳的に善い行動を十分に捉えきれない理由を検討すること。
• 暗黙的規定（例：最適化目的や指針）が、ルールベースのシステムに比べて、より効果的かつ整合性のとれた行動を生み出すという主張を展開すること。
• ディープラーニングの成功が示すように、暗黙的かつ最適化駆動のアプローチが、複雑で道徳的にニュアンスに富んだ関数をより適切に表現できる可能性を検討すること。
• 規制および財政枠組みを、厳密なルールから原則に基づくインcentives へと転換することで、社会的価値との整合性を高めることを提言すること。

提案手法

• AI システムと経済的実体の構造的類似性を分析し、両者とも制約下で目的を最適化する点に着目する。
• 法的法令やパrameter の境界といった明示的ルールと、報酬最大化や利益インセンティブといった暗黙的制約の両者が行動に与える影響を対比分析する。
• ディープラーニング理論を用いて、高次元の最適化問題では、指数関数的に増加する制約の必要数ゆえに、ルールベースの規定が有効でないことを主張する。
• AI分野の知見を社会経済的システムに応用し、公平性や持続可能性といった高水準の原則に基づく人間の判断が、厳密なルールブックよりも行動をより適切に導ける可能性を示唆する。
• 実世界の事例を検討：米国一般財務諸表（ルールベース）とカナダ一般財務諸表（原則ベース）、企業の利益最大化と共通利益最適化の対比。
• 監査や財政的インセンティブが、財務的成果だけでなく社会的影響（例：汚染、従業員の wellbeing）を評価する仕組みに転換することで、原則に基づく整合性を高められると提言する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、AI や企業のような複雑適応系において、明示的ルールベースのシステムは道徳的に整合性のある行動を保証できないのか？
• RQ2 ディープラーニングが直感的で複雑なタスクを効果的に解く成功事例は、なぜ暗黙的規定が明示的ルールを上回ることを示唆するのか？
• RQ3 高次元のシステムにおいて、硬直的制約（例：法的境界）の下で最適化を行うとどのような結果が生じるのか？ なぜそれらは境界を突き破る行動をとるのか？
• RQ4 人間の判断と高水準の目的に依存する原則ベースの規制は、ルールベースのシステムに比べて、社会的価値との整合性を高められるのか？
• RQ5 財政的および規制枠組みをどのように見直すことで、短期的なコンプライアンスや利益の追求ではなく、長期的な社会的善を促進できるのか？

主な発見

• AI や経済的システムにおける道徳的行動の明示的ルールは、倫理的意思決定の複雑さと文脈依存性を十分に捉えきれないため、不十分である。
• 報酬や目的（例：利益、共通の利益）を暗黙的制約の下で最適化することで、固定されたルール群を強制するのとは異なり、より頑健で適応性のある行動が得られる。
• AI や企業のシステムにおける高次元の行動空間は、ルールベースの規定が不可能であることを示しており、必要な制約の数が指数関数的に増加するうえ、整合性の欠如のリスクも伴う。
• 利益最大化企業や報酬最適化AIシステムで観察される境界の周辺での行動は、制約下での最適化の自然な結果であり、法的抜け道を悪用する傾向がある。
• カナダの原則ベース一般財務諸表のような原則ベースのシステムは、文脈に応じた判断を可能にし、形式よりも本質を重視するため、不正や無駄を減らすのに効果的である。
• ガバナンスや規制において、ルールベースから原則ベースのインセンティブへの移行、特に社会的影響（例：環境汚染、従業員の幸福度）を評価する財政的インcentives を導入することで、完璧なルール規定がなくても、共通の利益との整合性を高められる。