[논문 리뷰] RoboTed: a case study in Ethical Risk Assessment

Alan Winfield, Katie Winkle|arXiv (Cornell University)|2020. 07. 31.

Ethics and Social Impacts of AI참고 문헌 9인용 수 5

한 줄 요약

이 논문은 윤리적 위험 평가(Ethical Risk Assessment, ERA)를 도입하여 로봇 분야에서 윤리적, 사회적, 환경적 위험을 체계적으로 식별하고 완화하는 프레임워크를 제시한다. 사례 연구로는 가상의 스마트 테디베어인 RoboTed을 활용하였으며, 기존의 안전 위험 평가를 넘어서 개인정보 유출, 심리적 피해, 환경 영향 등 윤리적 위험 요소를 포함하여 분석하였다. 이는 초기 단계에서 윤리적 설계를 고려할 경우 더 안전하고 지속 가능하며 사용자 존중 정신을 반영한 로봇 시스템 개발이 가능하다는 점을 보여준다.

ABSTRACT

Risk Assessment is a well known and powerful method for discovering and mitigating risks, and hence improving safety. Ethical Risk Assessment uses the same approach but extends the envelope of risk to cover ethical risks in addition to safety risks. In this paper we outline Ethical Risk Assessment (ERA) and set ERA within the broader framework of Responsible Robotics. We then illustrate ERA with a case study of a hypothetical smart robot toy teddy bear: RoboTed. The case study shows the value of ERA and how consideration of ethical risks can prompt design changes, resulting in a more ethical and sustainable robot.

연구 동기 및 목표

• 기존의 안전 문제를 넘어서 윤리적 위험을 체계적으로 식별하는 접근 방식을 개발하고 사례를 통해 이를 입증하는 것.
• 사회적 로봇의 설계 라이프사이클에 윤리적 위험 평가를 통합하여 책임감 있는 혁신을 보장하는 것.
• 지능형 로봇과 관련된 사회적, 심리적, 개인정보, 환경적 위험을 실용적인 사례 연구를 통해 다루는 것.
• 윤리적 로봇 설계에서 사용자 참여, 투명성, 지속 가능성의 중요성을 부각하는 것.
• 배포 이전에 설계 변경을 유도함으로써 ERA가 윤리적 실패를 사전에 방지할 수 있음을 보여주는 것.

제안 방법

• 영국 표준 BS8611을 기반으로 사회적, 응용, 영업/재정, 환경적 4개 범주에 걸쳐 20개의 별도 윤리적 위험 요소를 식별하였다.
• 가상의 사회적 로봇인 RoboTed에 대해 신체적, 심리적, 개인정보, 환경적 위험을 분석함으로써 체계적인 ERA를 수행하였다.
• 각 위험 요소를 발생 가능성(높음, 중간, 낮음)으로 분류하고 각 위험에 대해 구체적인 완화 전략을 제안하였다.
• 청각적 이동 경고 기능, 소비자용 배터리 사용, 현지 데이터 기록, 모듈식 및 수리 가능한 구성 요소와 같은 설계 변경 사항을 제안하였다.
• 다양한 인구 집단과의 사용자 참여 및 심리학자, 사회과학자 등 전문가의 다학제적 참여를 통해 위험 평가의 타당성을 향상시키는 것을 주장하였다.
• ERA를 라이프사이클 접근 방식에 통합하여 설계 단계와 사용자 시험 단계에서 반복적인 평가를 권고함으로써 지속적인 윤리적 일치를 확보하였다.

실험 결과

연구 질문

• RQ1 지능형 로봇 시스템에 윤리적 위험 평가를 체계적으로 적용하여 비안전적 피해를 사전에 예측할 수 있는 방법은 무엇인가?
• RQ2 RoboTed와 같은 사회적 로봇에 특화된 윤리적 위험 요소는 무엇이며, 설계 단계에서 어떻게 식별하고 완화할 수 있는가?
• RQ3 ERA는 로봇 시스템의 지속 가능성, 투명성, 사용자 신뢰성 향상에 어느 정도 기여할 수 있는가?
• RQ4 과도한 신뢰나 '기묘한 골목' 현상과 같은 심리적 및 사회적 위험은 어떻게 평가하고 설계에서 해결할 수 있는가?
• RQ5 사용자 참여와 다학제적 협업은 윤리적 위험 평가의 효과성을 높이는 데 어떤 역할을 하는가?

주요 결과

• 윤리적 위험 평가를 통해 RoboTed에서 심리적 과도한 신뢰, 개인정보 유출, 환경적 비지속 가능성 등 12개의 별도 윤리적 위험 요소를 성공적으로 식별하였다.
• 청각적 이동 경고 기능과 현지 데이터 기록과 같은 완화 전략이 신체적 및 개인정보 위험을 크게 감소시켰다.
• 수리 가능하고 재활용 가능한 설계를 통해 재활용 불가능성 위험을 줄이고 RoboTed의 환경 수명을 연장시켰다.
• 사례 연구를 통해 수리 불가능하고 비지속 가능한 설계는 심각한 윤리적 및 환경적 위험을 초래하며, 이에 따라 모듈식, 생분해성, 저탄소 재료로의 전환을 유도하였다.
• 심리적 위험 요소인 과도한 신뢰와 '기묘한 골목' 현상은 상황에 따라 크게 달라지며 정확한 평가를 위해 다양한 인구 집단을 대상으로 한 사용자 테스트가 필요하다는 점이 확인되었다.
• 사용자 시험과 전문가 입력(예: 심리학자)과 함께 ERA를 반복적으로 통합함으로써 설계 과정의 강건성과 사회적 책임성을 향상시켰다.