[논문 리뷰] Mediation Challenges and Socio-Technical Gaps for Explainable Deep Learning Applications

Rafael Brandão, Joel Luís Carbonera외 4명|arXiv (Cornell University)|2019. 07. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 50인용 수 4

한 줄 요약

이 논문은 딥러닝 모델에 내재된 기술적 의미와 사용자들이 이에 부여하는 사회적 의미 사이의 핵심적인 사회기술적 격차를 규명하며, 이 격차를 메우기 위해 세 가지 'XAI 매개도전 과제'를 제안한다. 산업 연구개발소 소속 딥러닝 전문가들을 대상으로 한 질적 사례 연구를 통해, 실무자들이 사회적 영향을 고려하는 데 내재된 동기가 부족함을 드러내며, 규제 및 사회적 요구를 충족시키기 위해 매개자와 다학제적 협력이 필수적임을 시사한다.

ABSTRACT

The presumed data owners' right to explanations brought about by the General Data Protection Regulation in Europe has shed light on the social challenges of explainable artificial intelligence (XAI). In this paper, we present a case study with Deep Learning (DL) experts from a research and development laboratory focused on the delivery of industrial-strength AI technologies. Our aim was to investigate the social meaning (i.e. meaning to others) that DL experts assign to what they do, given a richly contextualized and familiar domain of application. Using qualitative research techniques to collect and analyze empirical data, our study has shown that participating DL experts did not spontaneously engage into considerations about the social meaning of machine learning models that they build. Moreover, when explicitly stimulated to do so, these experts expressed expectations that, with real-world DL application, there will be available mediators to bridge the gap between technical meanings that drive DL work, and social meanings that AI technology users assign to it. We concluded that current research incentives and values guiding the participants' scientific interests and conduct are at odds with those required to face some of the scientific challenges involved in advancing XAI, and thus responding to the alleged data owners' right to explanations or similar societal demands emerging from current debates. As a concrete contribution to mitigate what seems to be a more general problem, we propose three preliminary XAI Mediation Challenges with the potential to bring together technical and social meanings of DL applications, as well as to foster much needed interdisciplinary collaboration among AI and the Social Sciences researchers.

연구 동기 및 목표

• 딥러닝 전문가들이 실제 적용 환경에서 자신의 모델에 대해 어떻게 사회적 의미를 부여하는지 조사하기.
• 기술적 개발 관행과 해석 가능성에 대한 사회적 기대 사이의 괴리를 규명하기.
• 딥러닝 전문가들이 자신의 일에 대한 사회적 영향을 고려하는 데 내재된 동기가 부족한 이유를 해결하기.
• AI 및 사회과학 연구자 간 협업을 촉진하는 구체적인 매개도전 과제를 제안하기.
• GDPR의 설명 권리에 대응하여 기술적 의미와 사회적 의미를 조율하기.

제안 방법

• 산업 연구개발소 소속 12명의 딥러닝 전문가를 대상으로 한 질적 사례 연구 수행.
• 반구조화된 인터뷰와 주제 분석을 통해 전문가들의 해석 가능성 및 사회적 의미에 대한 인식 탐색.
• 초기 자발적 참여 이후 특정 질문을 통해 사회적 영향에 대한 반성을 유도.
• 기술 워크플로우에서 사회적 고려사항의 부재를 반복적으로 드러낸 주제 규명.
• 기술적 의미와 사회적 의미를 통합하기 위한 세 가지 XAI 매개도전 과제 제안.
• 사회과학자들과의 다학제적 협력을 통해 사회기술적 격차를 메우기 위한 권고.

실험 결과

연구 질문

• RQ1 딥러닝 전문가들은 산업적 맥락에서 자신이 개발한 모델에 대해 어떻게 사회적 의미를 부여하는가?
• RQ2 규제 및 사회적 요구에도 불구하고 딥러닝 전문가들이 모델의 사회적 영향을 자발적으로 고려하지 못하는 이유는 무엇인가?
• RQ3 AI 시스템에서 기술적 의미와 사회적 의미 사이의 격차를 메우기 위해 어떤 매개자 또는 협업 프레임워크가 필요한가?
• RQ4 딥러닝 분야의 현재 연구 인cent와 가치가 해석 가능한 AI의 목표와 어떻게 충돌하는가?
• RQ5 AI 및 사회과학 연구자 간의 다학제적 협업을 촉진할 수 있는 구체적인 과제는 무엇인가?

주요 결과

• 딥러닝 전문가들은 실제 적용 환경이지만 모델의 사회적 의미를 자발적으로 고려하지 못했다.
• 명시적인 자극이 가해진 후 전문가들은 기술적 의미와 사회적 의미를 연결해 줄 매개자에 대해 강력한 기대를 나타냈다.
• 딥러닝 분야의 현재 연구 인센티브와 가치는 해석 가능한 AI를 발전시키는 데 필요한 요건과 맞지 않는다.
• 본 연구는 딥러닝 개발의 기술적 초점과 사회적 해석 가능성 요구 사이에 근본적인 사회기술적 격차가 존재함을 규명했다.
• 기술적 의미와 사회적 의미를 통합하기 위한 구체적 길로 세 가지 XAI 매개도전 과제를 제안했다.
• 연구 결과는 규제 및 윤리적 요구에 부응하기 위해 다학제적 협력이 급박히 필요함을 강조한다.