[논문 리뷰] Developing Future Human-Centered Smart Cities: Critical Analysis of Smart City Security, Interpretability, and Ethical Challenges

Kashif Ahmad, Majdi Maabreh외 4명|arXiv (Cornell University)|2020. 12. 14.

Ethics and Social Impacts of AI인용 수 11

한 줄 요약

이 논문은 인공지능 기반 스마트 시티의 보안, 해석 가능성, 윤리적 도전 과제를 철저히 분석하며, 신뢰할 수 있는 도시 인공지능 시스템을 위해 인간 중심의 설계—강력한 데이터 거버넌스, 해석 가능한 인공지능, 문화적으로 포용적인 윤리 기반의 접근이 필수적이라고 제안한다. 연구는 도전 과제 간 상호의존성을 규명하고, 안전하고 공정하며 투명한 스마트 도시를 위한 향후 발전을 위한 연구 격차를 제시한다.

ABSTRACT

As the globally increasing population drives rapid urbanisation in various parts of the world, there is a great need to deliberate on the future of the cities worth living. In particular, as modern smart cities embrace more and more data-driven artificial intelligence services, it is worth remembering that technology can facilitate prosperity, wellbeing, urban livability, or social justice, but only when it has the right analog complements (such as well-thought out policies, mature institutions, responsible governance); and the ultimate objective of these smart cities is to facilitate and enhance human welfare and social flourishing. Researchers have shown that various technological business models and features can in fact contribute to social problems such as extremism, polarization, misinformation, and Internet addiction. In the light of these observations, addressing the philosophical and ethical questions involved in ensuring the security, safety, and interpretability of such AI algorithms that will form the technological bedrock of future cities assumes paramount importance. Globally there are calls for technology to be made more humane and human-centered. In this paper, we analyze and explore key challenges including security, robustness, interpretability, and ethical (data and algorithmic) challenges to a successful deployment of AI in human-centric applications, with a particular emphasis on the convergence of these concepts/challenges. We provide a detailed review of existing literature on these key challenges and analyze how one of these challenges may lead to others or help in solving other challenges. The paper also advises on the current limitations, pitfalls, and future directions of research in these domains, and how it can fill the current gaps and lead to better solutions. We believe such rigorous analysis will provide a baseline for future research in the domain.

연구 동기 및 목표

• 스마트 시티 응용 분야에서 인공지능 보안, 해석 가능성, 윤리적 과제 간 상호작용을 조사하기 위해.
• 데이터 편향, 악성 공격, 투명성 부족이 인간의 복지와 사회적 번영에 어떻게 악영향을 미치는지 규명하기 위해.
• 이론적 인공지능 윤리와 도시 기술 구현의 실질적 적용 간 격차를 해결하기 위해.
• 이슬람 및 비서구적 관점과 같은 다양한 세계관을 기반으로 한 문화적으로 포용적이고 정책적으로 유용한 인공지능 윤리 체계를 주장하기 위해.
• 인간 중심의 도시 환경에서 안전하고 해석 가능하며 윤리적으로 타당한 인공지능 개발을 위한 향후 연구의 기초를 마련하기 위해.

제안 방법

• 스마트 시티 환경에서의 인공지능 보안, 해석 가능성, 윤리 문제에 관한 종합적인 문헌 리뷰를 수행하기 위해.
• 도심 시스템에서의 인공지능 신뢰성에 영향을 미치는 악성 공격(예: 회피 공격, 트로이 악성코드, 데이터 오염)과 그 영향을 분석하기 위해.
• 악성 입력 탐지 및 모델 투명성 향상을 위해 해석 가능성 기법(예: LIME, SHAP)을 평가하기 위해.
• 공정성을 향상시키기 위해 데이터 감사, 소유 모델, 편향 완화와 같은 데이터 관리 관행을 통합하기 위해.
• 해석 가능성과 강건성, 윤리적 준수를 연결하는 프레임워크를 제안하여 인공지능 위험을 줄이기 위해.
• 특히 이슬람 다수국가에서의 사고방식을 포함하여, 서구 프레임워크를 넘어서 인공지능 윤리 논의의 다양성을 확보하기 위해 다문화적 시각을 통합하기 위해.

실험 결과

연구 질문

• RQ1 악성 공격는 교통 및 의료와 같은 핵심 도시 응용 분야에서 인공지능의 신뢰성과 안전성을 어떻게 위협하는가?
• RQ2 해석 가능성 기법은 악성 입력 탐지 능력과 인공지능 시스템에 대한 신뢰를 얼마나 향상시킬 수 있는가?
• RQ3 스마트 시티에 인공지능을 구현하는 데 있어 주요 윤리적 및 문화적 장벽은 무엇이며, 이를 포용적인 정책과 설계를 통해 어떻게 해결할 수 있는가?
• RQ4 데이터 편향과 열악한 데이터 거버넌스는 인간 중심의 도시 인공지능 응용 분야에서 어떻게 차별적 결과를 초래하는가?
• RQ5 다학제적 협업은 인공지능 개발이 인간의 복지, 사회 정의, 제도적 거버넌스와 어떻게 조율될 수 있는가?

주요 결과

• LIME 및 SHAP와 같은 해석 가능성 기법은 악성 입력을 탐지하는 데 도움이 되지만, 공격자에 의해 더 효과적인 공격를 설계하는 데 악용될 수도 있다.
• 학습 데이터셋 내 편향은 특히 형사 사법이나 의료와 같은 민감한 응용 분야에서 차별적 인공지능 결과를 초래하며, 기존의 사회적 불평등을 심화시킨다.
• 현재의 인공지능 윤리 논의는 서구 철학적 프레임워크에 의해 지배되어 있어, 비서구적 문화 및 종교적 맥락에서는 그 적용성과 관련성이 제한된다.
• 학술적 인공지능 윤리 연구와 실질적 구현 간 격차가 크며, 대부분의 산업 현장에서는 윤리 원칙보다 경제적 이익을 우선시한다.
• 데이터 감사, 소유 모델, 편향 완화를 포함한 강력한 데이터 거버넌스는 인공지능 기반 도시 서비스에서 공정성과 책임성을 확보하기 위해 필수적이다.
• 보안, 해석 가능성, 윤리의 융합은 핵심적이다: 한 도전 과제를 해결하기 위해선 다른 도전 과제도 함께 다뤄야 하며, 이는 통합적이고 인간 중심의 인공지능 설계의 필요성을 강조한다.