[논문 리뷰] ChatGPT Needs SPADE (Sustainability, PrivAcy, Digital divide, and Ethics) Evaluation: A Review

Sunder Ali Khowaja, Parus Khuwaja외 3명|arXiv (Cornell University)|2023. 04. 13.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 ChatGPT와 같은 대규모 언어 모델을 평가하기 위한 종합적인 SPADE 프레임워크—지속 가능성, 개인정보, 디지털 격차, 윤리—를 제안한다. 이는 LLM에서의 환경적, 개인정보, 형평성, 윤리적 위험을 식별하고, 초보적 데이터와 시각화 자료를 바탕으로 한 분석을 제공하며, 책임감 있는 AI 개발 및 거버넌스를 위한 구체적인 대응 조치와 정책 권고안을 제시한다.

ABSTRACT

ChatGPT is another large language model (LLM) vastly available for the consumers on their devices but due to its performance and ability to converse effectively, it has gained a huge popularity amongst research as well as industrial community. Recently, many studies have been published to show the effectiveness, efficiency, integration, and sentiments of chatGPT and other LLMs. In contrast, this study focuses on the important aspects that are mostly overlooked, i.e. sustainability, privacy, digital divide, and ethics and suggests that not only chatGPT but every subsequent entry in the category of conversational bots should undergo Sustainability, PrivAcy, Digital divide, and Ethics (SPADE) evaluation. This paper discusses in detail the issues and concerns raised over chatGPT in line with aforementioned characteristics. We also discuss the recent EU AI Act briefly in accordance with the SPADE evaluation. We support our hypothesis by some preliminary data collection and visualizations along with hypothesized facts. We also suggest mitigations and recommendations for each of the concerns. Furthermore, we also suggest some policies and recommendations for EU AI policy act concerning ethics, digital divide, and sustainability

연구 동기 및 목표

• 대규모 언어 모델(LLM), 특히 ChatGPT와 관련된 지속 가능성, 개인정보, 디지털 격차, 윤리적 측면에서 간과되지만 핵심적인 위험 요소를 부각시키기 위해.
• 성능과 사용성 외의 체계적 평가 부족 문제를 해결하고, 통합된 평가 프레임워크를 주장하기 위해.
• 환경적 영향, 데이터 개인정보 문제, 접근성의 세계적 형평성 문제, AI 배포 시 윤리적 우려에 대한 실증적 및 가설적 증거를 제공하기 위해.
• 개발자, 규제 기관, 기관이 책임감 있는 AI 개발을 보장하기 위해 실행 가능한 대응 조치와 정책 권고안을 제안하기 위해.
• 윤리적, 형평성 있고 지속 가능한 AI 거버넌스를 이끄는 데 기여할 정부 주도 AI 정책법을 SPADE 원칙에 기반해 제안하기 위해.

제안 방법

• 모델 훈련 및 추론 단계에서 ChatGPT의 에너지 소비를 정성적 및 초보적 정량적 분석하여 환경 지속 가능성 수준을 평가한다.
• OpenAI의 데이터 수집 및 사용 방식을 분석하여 개인정보 및 데이터 보호 위험 요소를 특정한다. 특히 사용자 입력 및 훈련 데이터 확보 방식에 대한 우려를 다룬다.
• 국가별 소득 수준 비교와 접근 패턴 분석을 통해 저소득 및 고소득 국가 간 LLM 접근성의 디지털 격차를 입증한다.
• 사례 기반 예시와 알고리즘 공정성 원칙을 활용하여 편향, 차별, 불공정한 결과와 같은 윤리적 위험 요소를 분석한다.
• 지속 가능성, 개인정보, 형평성, 윤리를 핵심 평가 축으로 통합한 다차원적 SPADE 평가 프레임워크를 제안한다.
• 책임성, 투명성, 인간의 감시, 이해관계자 참여 메커니즘 등을 포함한 정부 AI 법률에 대한 정책 권고안을 수립한다.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 대규모 언어 모델의 훈련 및 구현 과정에서 지속 가능성과 관련된 환경 위험 요소는 무엇인가요?
• RQ2 ChatGPT의 데이터 수집 및 사용 방식은 개인정보 및 데이터 보호 문제를 어떻게 야기합니까?
• RQ3 ChatGPT와 같은 고급 LLM에 대한 접근성이 고소득 국가와 저소득 국가 간 세계적 디지털 격차를 어느 정도 심화시키나요?
• RQ4 ChatGPT의 설계 및 배포 과정에서 드러나는 윤리적 위험 요소—예를 들어 편향, 차별, 불공정한 결과—는 무엇인가요?
• RQ5 미래 AI 시스템에서 SPADE 차원을 효과적으로 다룰 수 있는 정책 프레임워크와 거버넌스 메커니즘은 무엇인가요?

주요 결과

• ChatGPT는 모델 훈련 및 추론 과정에서의 높은 에너지 소비로 인해 심각한 탄소 배출을 유발하여 환경 지속 가능성에 위협을 가한다.
• 사용자 데이터의 투명하지 않은 수집 및 사용 방식으로 인해 개인정보 문제 발생 가능성이 있으며, 개인 입력의 오용 및 데이터 처리 방식의 투명성 부족이 문제로 제기된다.
• 저소득 및 중저소득 국가에서 고급 LLM에 대한 접근성이 제한되어 있어 세계적 기술 격차가 악화되고 있다.
• 훈련 데이터가 정제되지 않거나 편향된 데이터셋을 기반으로 훈련된 경우, 알고리즘 편향과 차별적 결과가 모델 응답에 명백하게 드러난다.
• 초보적 데이터 및 시각화 자료는 ChatGPT와 같은 LLM이 특정 지역 및 사용자 집단에 대해 비례하지 않는 환경적·사회적 영향을 미칠 수 있다는 가설을 뒷받침한다.
• 정책 개입의 명백한 필요성을 규명하였으며, 책임성, 투명성, 인간 감시 원칙을 이행할 수 있는 구조화된 AI 정책법을 제안한다.