[논문 리뷰] The Ethics of AI-Generated Maps: A Study of DALLE 2 and Implications for Cartography

Qianheng Zhang, Yuhao Kang외 1명|arXiv (Cornell University)|2023. 01. 01.

Ethics in Clinical Research인용 수 14

한 줄 요약

이 연구는 DALL·E 2를 사용해 생성한 인공지능(AI) 지도의 윤리적 위험을 조사하며, 합성 지도와 인간이 설계한 지도로 구성된 공개 데이터셋을 구축하고, AI로 생성된 지도와 실제 지도를 구분하는 데 93.2%의 정확도를 달성한 딥러닝 기반 검출기를 개발하여 생성형 AI 시대의 신뢰할 수 있는 지도 제작에 기여한다.

ABSTRACT

The rapid advancement of artificial intelligence (AI) such as the emergence of large language models ChatGPT and DALL·E 2 has brought both opportunities for improving productivity and raised ethical concerns. This paper investigates the ethics of using artificial intelligence (AI) in cartography, with a particular focus on the generation of maps using DALL·E 2. To accomplish this, we first created an open-sourced dataset that includes synthetic (AI-generated) and real-world (human-designed) maps at multiple scales with a variety of settings. We subsequently examined four potential ethical concerns that may arise from the characteristics of DALL·E 2 generated maps, namely inaccuracies, misleading information, unanticipated features, and irreproducibility. We then developed a deep learning-based model to identify those AI-generated maps. Our research emphasizes the importance of ethical considerations in the development and use of AI techniques in cartography, contributing to the growing body of work on trustworthy maps. We aim to raise public awareness of the potential risks associated with AI-generated maps and support the development of ethical guidelines for their future use.

연구 동기 및 목표

• DALL·E 2를 사용해 합성 지도를 생성함에 따라 발생할 수 있는 정확성 부족, 오해의 소지가 있는 내용, 뜻밖의 특성, 재현 불가능성 등의 윤리적 문제를 조사한다.
• 디지털 지도 제작에서의 신뢰성 확보와 오락성 정보 유포 위험 완화를 위해 AI로 생성된 지도를 신뢰할 수 있는 방법으로 식별하는 기법을 개발한다.
• 위험 요소를 규명하고 검출 기반 기법을 제안하여 AI 지도 제작의 윤리적 지침 개발에 기여한다.
• 특히 정치적 또는 문화적으로 敏감한 맥락에서 AI로 생성된 지도가 오해를 낳을 수 있음을 인식시키기 위해 경각심을 고취시킨다.
• 검출 도구와 윤리적 프레임워크를 통해 생성형 AI를 지도 교육 및 실무에 책임감 있게 통합하는 데 기여한다.

제안 방법

• 검색 엔진을 통해 수집한 1,232개의 인간이 설계한 지도와 DALL·E 2를 통해 생성한 616개의 AI 생성 지도를 포함한 총 1,848개의 지도로 구성된 공개 및 오픈소스 데이터셋을 구축했다.
• 다양하고 확장 가능한 지도를 세계 각지의 대륙, 국가, 미국 주수준에서 생성하기 위해 프롬프트 템플릿 "{Region}의 {Place}에 있는 {MapType} 지도로, {Description}이 포함된"을 사용했다.
• AI로 생성된 지도와 인간이 설계한 지도를 구분하는 데 목적이 있는 딥러닝 기반 이진 분류기(컨volutional Neural Network(CNN) 아키텍처 사용)를 훈련시켰다.
• 1,232개의 지도로 구성된 테스트 세트에서 검출기를 평가하여 93.2%의 정확도, 87.3%의 정밀도, 87.5%의 재현율을 달성했다.
• 다양한 지도 유형과 스케일에서의 검출기 성능을 검증하기 위해 혼동 행렬과 성능 지표를 활용했다.
• 재현 가능성과 AI 윤리 및 지도 제작 분야의 향후 연구를 지원하기 위해 데이터셋과 모델 코드를 GitHub에 공개했다.

실험 결과

연구 질문

• RQ1 DALL·E 2로 생성된 지도의 특성, 예를 들어 정확성 부족, 오해의 소지가 있는 내용, 또는 뜻밖의 특성 등으로 인해 발생하는 윤리적 문제는 무엇인가?
• RQ2 기계학습 기법을 활용해 AI로 생성된 지도를 신뢰할 수 있게 식별할 수 있는 방법은 무엇인가?
• RQ3 딥러닝 모델이 DALL·E 2로 생성된 합성 지도와 실제 인간이 설계한 지도를 어느 정도 정확하게 구분할 수 있는가?
• RQ4 AI로 생성된 지도가 지도 교육, 오락성 정보 유포, 지리정보과학(GIScience) 분야의 윤리적 책임에 어떤 영향을 미치는가?
• RQ5 미래의 AI 및 AGI 시스템은 지도 제작 방식을 어떻게 변화시킬 수 있으며, 이를 위해 어떤 윤리적 보호장치가 필요한가?

주요 결과

• AI로 생성된 지도 검출기는 테스트 세트에서 93.2%의 정확도, 87.3%의 정밀도, 87.5%의 재현율을 기록하여 합성 지도를 식별하는 데 뛰어난 성능을 보였다.
• 혼동 행렬을 분석한 결과, AI로 생성된 지도 중 616개, 인간이 설계한 지도 중 1,135개가 정확히 분류되었으며, 92개의 양성 오류와 86개의 음성 오류가 발생했다.
• DALL·E 2로 생성된 지도는 현실적인 외관을 지니고 있지만, 정확성 부족, 오해의 소지가 있는 공간적 표현, 뜻밖의 특성 등이 자주 포함되어 있다.
• 동일한 프롬프트를 사용해도 실행마다 다른 출력 결과가 생성되므로, AI로 생성된 지도는 재현 불가능함을 확인했다.
• 윤리적 위험으로는 특히 정치적 또는 문화적으로 민감한 맥락에서 오락성 정보 유포에 악용될 가능성이 있다.
• 데이터셋과 검출 모델은 GitHub에 공개되어 있어, 향후 AI 윤리 및 지도 제작 분야의 신뢰성에 관한 연구를 지원한다.