[논문 리뷰] Human computation requires and enables a new approach to ethical review

Libuše Hannah Vepřek, Patricia Seymour외 1명|arXiv (Cornell University)|2020. 11. 21.

Ethics and Social Impacts of AI참고 문헌 19인용 수 4

한 줄 요약

이 논문은 인간 계산 시스템을 위한 동적이고 커뮤니티 기반의 윤리적 심사 프레임워크를 제안하며, 참가자 중심 설계와 사전 환경을 갖춘 기술사회 플랫폼을 활용해 실시간 윤리 평가와 윤리 기준의 지속적 발전을 가능하게 한다. 이는 IRB 심사와 공동체의 기여를 통합한 '생생한 윤리 모델'을 도입하여 기술적·사회적 변화에 유연하게 대응하면서도 윤리적 감시의 투명성과 재현 가능성을 높인다.

ABSTRACT

With humans increasingly serving as computational elements in distributed information processing systems and in consideration of the profit-driven motives and potential inequities that might accompany the emerging thinking economy[1], we recognize the need for establishing a set of related ethics to ensure the fair treatment and wellbeing of online cognitive laborers and the conscientious use of the capabilities to which they contribute. Toward this end, we first describe human-in-the-loop computing in context of the new concerns it raises that are not addressed by traditional ethical research standards. We then describe shortcomings in the traditional approach to ethical review and introduce a dynamic approach for sustaining an ethical framework that can continue to evolve within the rapidly shifting context of disruptive new technologies.

연구 동기 및 목표

• 기존의 IRB 기준이 인간 계산 및 시민 과학 프로젝트를 평가하는 데 부적절함을 해결하기 위해.
• 기술적·사회적 변화에 따라 진화하는 인간-컴퓨터 협업 환경에 맞춰 지속적으로 발전하는 '생생한 윤리 프레임워크'를 개발하기 위해.
• 투명하고 참가자 중심적이며 재현 가능한 플랫폼을 통해 윤리적 심사를 설계 과정에 통합하기 위해.
• 분산된 계산 시스템에서 온라인 인지 노동자의 공정한 대우와 복지를 보장하기 위해.
• 참가자가 동시에 기여자이자 잠재적 연구자인 복합적인 이중 역할을 윤리적으로 인정하고 보호하기 위해.

제안 방법

• 연구자가 실험을 시뮬레이션할 수 있는 사전 환경을 갖춘 기술사회 플랫폼을 설계하여, IRB 심사자가 참가자의 시각에서 실험을 관찰할 수 있도록 하기 위해.
• 전문가가 인터페이스 상에서 직접 코멘트를 남기고 수정을 제안할 수 있도록 실시간으로 상호작용하는 IRB 심사를 통합하기 위해.
• 모든 윤리적 문제, 대화, 해결책을 실험 스냅샷과 연결된 투명하고 버전 관리된 저장소에 기록하기 위해.
• 윤리 지침이 모호하거나 부족할 경우 비전문가 기여자를 활용해 공동체 기반의 심사를 수행하기 위해.
• 공동체 피드백을 통해 윤리 지침을 반복적으로 업데이트하고 개선하여, 분야의 변화에 따라 지속적으로 발전시키기 위해.
• 결정 및 수정 기록의 전체 감사 흐름을 보존함으로써 윤리적 심사 과정에 재현 가능성을 통합하기 위해.

실험 결과

연구 질문

• RQ1 인간 계산 및 시민 과학의 역동적이고 참가자 중심적인 성격을 감안할 때 윤리적 심사 과정은 어떻게 적응시킬 수 있는가?
• RQ2 윤리적 감시가 기술적 변화의 새로운 맥락에 유연하게 대응하고, 동시에 투명하고 재현 가능하며 반응적으로 유지되기 위해 어떤 메커니즘이 필요한가?
• RQ3 참가자가 동시에 기여자이자 잠재적 연구자로서의 역할을 윤리적으로 인정하고 보호하기 위해서는 어떻게 해야 하는가?
• RQ4 공동체의 기여는 인간-컴퓨터 협업에서 윤리 기준의 관련성과 적응 가능성을 어떻게 향상시킬 수 있는가?
• RQ5 침습적이고 상호작용적인 평가를 통해 윤리적 심사 과정을 어떻게 더 적은 부담과 더 높은 효과로 개선할 수 있는가?

주요 결과

• 제안된 플랫폼은 IRB 심사자가 사전 환경에서 실험을 직접 경험함으로써 추상적인 기술적 설명에 의존하는 것을 줄이고 정확도를 향상시킨다.
• 윤리적 문제와 대화 내용이 완전히 기록되고 버전 관리되어 투명성과 책임성을 높이는 재현 가능한 감사 흐름을 제공한다.
• 모호한 윤리적 사례에 대해 비전문가 기여자를 활용해 공동체 기반의 심사를 수행할 수 있으며, 이는 학술 동료 심사와 유사하게 맥락적 관련성을 높인다.
• 윤리 지침은 정적인 것이 아니며, 실제 심사 결과에 기반해 수정 가능하여 윤리 프레임워크의 지속적 진화를 가능하게 한다.
• 인간 계산에서의 參與적 방법을 윤리적 심사에 통합함으로써 AI-인간 시스템의 확장 가능하고 적응 가능한, 포괄적인 거버넌스를 실현할 수 있다.
• 기존의 IRB 방식의 핵심적 한계를 해결하기 위해 심사 시간을 단축하고 참가자에 대한 공감 능력을 향상시키며, 윤리 기준을 실제 사용자 경험과 일치시킨다.