[논문 리뷰] On Ensuring that Intelligent Machines Are Well-Behaved

Philip S. Thomas, Bruno Castro da Silva외 2명|arXiv (Cornell University)|2017. 08. 17.

Reinforcement Learning in Robotics참고 문헌 84인용 수 10

한 줄 요약

이 논문은 기계 학습 알고리즘 설계자가 유해한 행동에 대한 확률적 제약 조건을 알고리즘 설계에 직접 통합할 수 있도록 해주는 Seldonian 최적화 프레임워크를 소개한다. 이로 인해 높은 확률로 해로운 결과를 방지할 수 있으며, 사용자가 깊은 도메인 지식이나 데이터 분석을 필요로 하지 않도록 한다. 안전성의 책임을 사용자에서 설계자로 이동시킴으로써, 편향되거나 해로운, 또는 안전하지 않은 행동을 사전에 차단하는 알고리즘을 만들 수 있다.

ABSTRACT

Machine learning algorithms are everywhere, ranging from simple data analysis and pattern recognition tools used across the sciences to complex systems that achieve super-human performance on various tasks. Ensuring that they are well-behaved---that they do not, for example, cause harm to humans or act in a racist or sexist way---is therefore not a hypothetical problem to be dealt with in the future, but a pressing one that we address here. We propose a new framework for designing machine learning algorithms that simplifies the problem of specifying and regulating undesirable behaviors. To show the viability of this new framework, we use it to create new machine learning algorithms that preclude the sexist and harmful behaviors exhibited by standard machine learning algorithms in our experiments. Our framework for designing machine learning algorithms simplifies the safe and responsible application of machine learning.

연구 동기 및 목표

• 실세계 응용에서 지능형 기계가 안전하고 책임감 있게 행동하도록 보장하는 데 있어 핵심적인 과제를 해결하기 위해.
• 사용자가 목적 함수나 가용 집합을 통해 간접적으로 행동을 제약하는 표준 기계 학습 접근 방식의 한계를 밝혀내기 위해.
• 알고리즘 설계 중에 행동에 대한 확률적 제약 조건을 직접 지정할 수 있도록 하는 새로운 프레임워크—Seldonian 최적화—를 제안하기 위해.
• 이 프레임워크가 편향되거나 안전하지 않은 행동과 같은 해로운 행동을 높은 확률로 차단하는 알고리즘을 만들 수 있음을 보여주기 위해.
• 특히 사용자가 기계 학습 전문 지식이 없을 수 있는 고위험 분야에서, 잘 동작하는 행동을 보장하는 책임을 최종 사용자에서 알고리즘 설계자로 이동시키기 위해.

제안 방법

• 문제를 Seldonian 최적화 문제로 수식화: n개의 행동 제약 조건에 대해 확률적 제약 조건 Pr(gi(a(D)) ≤ 0) ≥ 1 − δi 를 만족시키면서 알고리즘 유틸리티 함수 f(a)를 최대화하기.
• 알고리즘 공간 A를 정의하고, 해 θ⋆ 를 선택하는 것에서 안전성 제약 조건을 만족하는 잘 동작하는 알고리즘 a 를 선택하는 것으로 최적화 목표를 재정의하기.
• 불량한 행동—성능 저하나 편향된 결과 등—이 최대 δ 확률 이하로 발생하도록 보장하기 위해 확률적 보장을 사용하기.
• 목적 함수나 가용 집합에 대한 간접적 인코딩에 의존하지 않고, 제약 조건을 알고리즘 설계 과정에 직접 통합하기.
• 강화 학습 및 제어 문제에 이 프레임워크를 적용하여, 가우시안 프로세스와 신뢰 구간을 사용해 안전성 제약 조건을 추정하고 강제하기.
• 기존 알고리즘들—디지털 마케팅용 알고리즘 또는 상태 회피 제어용 알고리즘 등—이 이 프레임워크 하에서 (편의상) Seldonian 알고리즘으로 해석될 수 있음을 보여주기.

실험 결과

연구 질문

• RQ1 기계 학습 알고리즘은 사용자가 기계 학습 전문 지식을 갖추지 않더라도, 해로운 행동이 높은 확률로 사전 차단되도록 어떻게 설계할 수 있는가?
• RQ2 목적 함수나 가용 집합에 대한 간접적 수정이 아닌, 알고리즘 설계 과정에 직접적으로 행동 제약 조건을 통합할 수 있는 일반화 가능한 프레임워크는 무엇인가?
• RQ3 Seldonian 최적화 프레임워크는 강화 학습, 지도 학습, 제어 등 다양한 기계 학습 분야에 적용 가능한가?
• RQ4 비전문가 사용자에게서의 안전성 보장과 사용성 측면에서 Seldonian 알고리즘은 표준 접근 방식과 어떻게 비교되는가?
• RQ5 기존 문헌에 존재하는 알고리즘들은 이 새로운 수식 체계 하에서 이미 Seldonian 또는 (편의상) Seldonian 알고리즘의 예시로 간주될 수 있는가?

주요 결과

• Seldonian 최적화 프레임워크는 알고리즘 설계 과정에 직접적으로 확률적 제약 조건을 통합함으로써, 불량한 행동이 높은 확률로 사전 차단되는 기계 학습 알고리즘을 설계할 수 있도록 한다.
• 이 프레임워크는 안전성 확보의 책임을 최종 사용자에서 알고리즘 설계자로 이동시켜, 기계 학습에 익숙하지 않은 비전문가에게도 안전한 구현이 더 쉽게 가능하게 한다.
• 디지털 마케팅 및 제어 시스템 분야의 기존 알고리즘들은 모두 이 프레임워크 하에서 (편의상) Seldonian 알고리즘으로 해석될 수 있으며, 이는 프레임워크의 일반성과 실용적 관련성을 검증한다.
• 이 프레임워크는 표준 기계 학습 최적화 문제를 일반화하고, 강건 최적화 및 확률적 제약 조건을 사용하는 기존 접근 방식을 모두 포함한다.
• 신뢰 구간과 보수적인 추정(예: 가우시안 프로세스를 통해)을 사용함으로써, 제한된 데이터 조건 하에서도 안전성 제약 조건이 고확률로 충족됨을 보장한다.
• 실험을 통해 강화 학습 및 제어 응용 분야에서 성능 저하, 편향, 안전하지 않은 상태 전이와 같은 해로운 행동이 성공적으로 방지됨을 입증하였다.