[논문 리뷰] Learning from Learning Machines: Optimisation, Rules, and Social Norms

Travis LaCroix, Yoshua Bengio|arXiv (Cornell University)|2019. 12. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 94인용 수 4

한 줄 요약

이 논문은 복잡한 적응 시스템, 예를 들어 인공지능과 기업과 같은 분야에서 도덕적 및 사회적 규범과의 일치를 위해 암묵적 사양—예를 들어 고수준 원칙이나 최적화 목표—가 명시적 규칙보다 더 우수하다고 주장한다. 딥러닝의 성공을 바탕으로, 엄격한 규칙이 아닌 광범위한 목표(예: 공공복리)를 최적화하는 것이 고차원적이고 현실적인 제약 조건 하에서 더 견고하고 윤리적으로 일치된 행동을 이끌어낸다고 제안한다.

ABSTRACT

There is an analogy between machine learning systems and economic entities in that they are both adaptive, and their behaviour is specified in a more-or-less explicit way. It appears that the area of AI that is most analogous to the behaviour of economic entities is that of morally good decision-making, but it is an open question as to how precisely moral behaviour can be achieved in an AI system. This paper explores the analogy between these two complex systems, and we suggest that a clearer understanding of this apparent analogy may help us forward in both the socio-economic domain and the AI domain: known results in economics may help inform feasible solutions in AI safety, but also known results in AI may inform economic policy. If this claim is correct, then the recent successes of deep learning for AI suggest that more implicit specifications work better than explicit ones for solving such problems.

연구 동기 및 목표

• 복잡한 적응 시스템으로서의 기계학습 시스템과 경제적 실체 간의 유사성을 조사하여, 제약 조건 하에서 성능을 최적화하는 방식을 이해한다.
• 명시적 규칙이 인공지능 및 사회경제 시스템에서 도덕적으로 바람직한 행동을 포괄하지 못하는 이유를 검토한다.
• 암묵적 사양—예를 들어 최적화 목표 또는 지침 원칙—이 규칙 기반 시스템보다 더 효과적이고 일치된 행동을 이끌어내는 이유를 주장한다.
• 딥러닝의 성공이 복잡하고 윤리적으로 뉘앙스가 있는 기능을 표현하는 데 암묵적이고 최적화 중심의 접근 방식이 더 적합하다는 것을 시사한다는 점을 탐구한다.
• 규제 및 재정 프레임워크가 엄격한 규칙에서 원칙 기반 인centives로 전환되어 사회적 가치와의 일치를 향상시킬 수 있도록 제안한다.

제안 방법

• 인공지능 시스템과 경제적 실체 간의 구조적 유사성을 분석하여, 둘 다 제약 조건 하에서 목표를 최적화한다는 점을 밝힌다.
• 명시적 규칙(예: 법률 조항, 파rameter 범위)과 암묵적 제약(예: 보상 최대화, 이윤 유인)이 행동을 어떻게 형성하는지 대비한다.
• 딥러닝 이론을 활용하여 고차원 최적화 문제는 제약 조건 수가 기하급수적으로 증가함에 따라 규칙 기반 사양이 효과적으로 불가능하다고 주장한다.
• 인공지능의 통찰을 사회경제 시스템에 적용하여, 인간의 판단이 원칙(예: 공정성, 지속 가능성)에 기반할 경우 뚜렷한 규칙집보다 더 나은 행동 지침을 제공할 수 있다고 제안한다.
• 실제 사례 분석: 미국 GAAP(규칙 기반) 대비 캐나다 GAAP(원칙 기반), 기업의 이윤 최적화 대비 공공복리 최적화.
• 감사 및 재정 유인 제도가 재무 성과 외에도 사회적 영향(예: 오염, 직원 복지)을 평가하도록 개선하여 원칙 기반 일치를 가능하게 해야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 왜 명시적 규칙 기반 시스템은 인공지능이나 기업과 같은 복잡한 적응 시스템에서 도덕적으로 일치된 행동을 확보하지 못하는가?
• RQ2 딥러닝이 직관적이고 복잡한 작업을 성공적으로 해결한 배경에서 암묵적 사양이 명시적 규칙보다 뛰어나다는 점은 무엇을 시사하는가?
• RQ3 하이퍼디멘셔널 시스템에서 하드 제약 조건(예: 법적 경계)을 최적화할 경우 어떤 결과가 발생하며, 왜 이는 경계를 이용하는 행동으로 이어지는가?
• RQ4 인간의 판단과 고수준 목표에 기반한 원칙 기반 규제가 규칙 기반 시스템보다 사회적 가치와의 일치를 향상시킬 수 있는가?
• RQ5 재정 및 규제 프레임워크는 어떻게 개선되어야 하며, 단기적 준수나 이윤 추구가 아닌 장기적인 사회적 복리 추구를 유도할 수 있는가?

주요 결과

• 인공지능 및 경제 시스템에서 도덕적 행동을 위한 명시적 규칙은 윤리적 의사결정의 복잡성과 맥락 민감성의 특성을 포괄하지 못하므로 부족하다.
• 암묵적 제약 조건 하에서 보상 또는 목표(예: 이윤, 공공복리)를 최적화하면 고정된 규칙 집합을 시행하는 것보다 더 견고하고 적응력 있는 행동이 이뤄진다.
• 인공지능 및 기업 시스템의 고차원 행동 공간는 제약 조건 수의 기하급수적 증가와 오류 일치 위험으로 인해 규칙 기반 사양이 비현실적이며 불가능하다.
• 이윤 최적화 기업이나 보상 최적화 인공지능 시스템에서 관찰되는 경계 탐색 행동은 제약 조건 하에서의 최적화의 자연스러운 결과이며, 이는 법적 빈도를 악용하기 쉬운 경향이 있다.
• 원칙 기반 시스템—예를 들어 캐나다의 원칙 기반 GAAP—는 맥락 기반 판단을 가능하게 하여 형식보다 실질에 더 가까운 일치를 이끌어내며, 부당하거나 낭비적인 결과를 줄인다.
• 지배 및 규제에서 규칙 기반에서 원칙 기반 유인으로 전환하고, 사회적 영향(예: 오염, 직원 복지)에 대한 재정 보상까지 포함함으로써, 완벽한 규칙 사양이 없더라도 공공복리와의 일치를 향상시킬 수 있다.