[논문 리뷰] Power and accountability in reinforcement learning applications to environmental policy

Melissa Chapman, Caleb Scoville외 2명|arXiv (Cornell University)|2022. 05. 22.

Sustainability and Climate Change Governance인용 수 4

한 줄 요약

이 논문은 환경 정책에서 강화학습(RL)이 사적 기술 기업에 의사결정 권한을 이양함으로써 권력 재분배와 책임성 문제를 일으키는 방식을 분석한다. RL의 투명성 부족과 명확한 책임 소재 부재는 불평등을 심화시킬 위험이 있으며, 공정하고 투명한 환경 거버넌스를 확보하기 위해 참가자 중심 설계, 오픈소스 알고리즘, 법적 명확성 제안한다.

ABSTRACT

Machine learning (ML) methods already permeate environmental decision-making, from processing high-dimensional data on earth systems to monitoring compliance with environmental regulations. Of the ML techniques available to address pressing environmental problems (e.g., climate change, biodiversity loss), Reinforcement Learning (RL) may both hold the greatest promise and present the most pressing perils. This paper explores how RL-driven policy refracts existing power relations in the environmental domain while also creating unique challenges to ensuring equitable and accountable environmental decision processes. We leverage examples from RL applications to climate change mitigation and fisheries management to explore how RL technologies shift the distribution of power between resource users, governing bodies, and private industry.

연구 동기 및 목표

• 환경 정책에서 RL 응용이 사적 산업, 정부, 소외된 공동체 간의 이해관계자 간 권력 재분배 방식을 분석하는 것.
• RL 모델의 투명성 부족과 설명 불가능성으로 인해 환경 의사결정에서 책임성에 어떤 도전이 있는지 조사하는 것.
• 사적 기업이 데이터와 알고리즘을 통제할 경우 발생할 수 있는 은폐된 편향과 이해관계 중심 결과 등 RL 도입의 체계적 위험을 규명하는 것.
• 참여적 방법, 투명성, 법적 프레임워크 등 실천 가능한 전략을 통해 환경 거버넌스에서 공정하고 책임감 있는 RL 사용을 보장하는 것.
• AI 윤리, 환경법, 보존 과학 간 격차를 메우기 위해 생태적 관리에서 RL의 규범적 함의를 다루는 것.

제안 방법

• 기후 변화 완화와 어항 관리 분야의 사례 연구를 통해 RL의 실제 응용과 권력 구조를 설명한다.
• 정치 생태학과 알고리즘 책임성 분야의 개념적 프레임워크를 적용하여 RL이 기존 환경 권력 구조를 어떻게 반영하는지 분석한다.
• 소외된 공동체가 RL 문제 정의 과정에 포함될 수 있도록 포커스 그룹, 설문 조사, 참가자 중심 지ap 맵핑과 같은 참여적 방법을 제안한다.
• 투명성과 감사 가능성 향상을 위해 RL 알고리즘의 오픈소스 개발과 훈련 과정의 공개 문서화를 주장한다.
• 환경법 전문가와의 협업을 통해 RL 기반 환경 결정에 대한 법적 책임과 배상 책임을 명확히 하기 위한 제안을 한다.
• 알고리즘 감사 및 공정성 분야의 기존 문헌을 활용하여 환경적 맥락에서 RL 시스템의 모니터링 및 평가 방법을 정립한다.

실험 결과

연구 질문

• RQ1 환경 정책에서 RL을 도입할 경우 사적 산업, 정부, 지역 공동체 간 권력 다이내믹스는 어떻게 변화하는가?
• RQ2 RL 모델의 투명성 부족은 의도치 않은 또는 불공정한 결과 발생 시 책임성에 어떤 방식으로 도전하는가?
• RQ3 기존 법적 프레임워크는 RL 기반 환경 정책으로 인한 해로운 결과에 대해 어떻게 책임을 지는가?
• RQ4 참여적이고 공동체 중심의 설계는 다양한 가치를 반영하고 소외를 줄이는 데 어떤 역할을 할 수 있는가?
• RQ5 계산 자원이 사적 기업에 집중되어 있을 경우, RL 시스템의 투명성과 감사 가능성 확보를 위한 메커니즘은 무엇인가?

주요 결과

• 환경 정책에서 RL 응용은 데이터와 알고리즘 인fra를 동시에 통제하는 사적 기술 기업에 의사결정 권한이 집중될 위험이 있다.
• 딥 러닝 기반 RL 정책의 설명 불가능성은 해로운 또는 불공정한 결과에 대한 책임 추적을 어렵게 하여 책임성에 심각한 도전을 안긴다.
• 예측 가능성과 과실 기준과 같은 기존 법적 원칙은 복잡하고 적응적인 환경 상호작용에서 유래하는 결과가 발생할 경우 RL 시스템에 효과적으로 적용되지 않을 수 있다.
• RL 플랫폼의 사적 소유는 보상 함수에 명시적으로 포함되지 않은 경우에도 기업의 利益을 우선시하는 정책을 초래할 수 있으며, 이는 생태적 또는 사회적 형평성에 해를 끼칠 수 있다.
• 참여적 방법과 알고리즘 감사로 은폐된 편향을 드러내고 소외된 공동체의 가치를 RL 문제 정의 과정에 통합할 수 있다.
• 오픈소스 개발과 RL 훈련 과정의 공개 문서화는 감시 가능성 향상, 투명성 감소, 자동화된 환경 결정에 대한 신뢰 증진을 위해 필수적이다.