[논문 리뷰] "It would work for me too": How Online Communities Shape Software Developers' Trust in AI-Powered Code Generation Tools

Ruijia Cheng, Ruotong Wang외 2명|arXiv (Cornell University)|2022. 12. 07.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 온라인 개발자 커뮤니티가 AI 기반 코드 생성 도구에 대한 신뢰를 어떻게 형성하는지 조사하며, 공유 경험을 통한 집단적 의미화와 평가 신호를 통한 커뮤니티 히وري스틱이라는 두 가지 핵심 경로를 밝혀낸다. 연구는 커뮤니티 기능—예를 들어 커리에이티드 경험과 신뢰 신호—를 AI 코드 도구에 통합하여 적절한 신뢰를 지원할 것을 제안하며, 17명의 개발자와 11회의 디자인 세션을 통한 인터뷰와 디자인 프로브를 통해 검증된다.

ABSTRACT

While revolutionary AI-powered code generation tools have been rising rapidly, we know little about how and how to help software developers form appropriate trust in those AI tools. Through a two-phase formative study, we investigate how online communities shape developers' trust in AI tools and how we can leverage community features to facilitate appropriate user trust. Through interviewing 17 developers, we find that developers collectively make sense of AI tools using the experiences shared by community members and leverage community signals to evaluate AI suggestions. We then surface design opportunities and conduct 11 design probe sessions to explore the design space of using community features to support user trust in AI code generation systems. We synthesize our findings and extend an existing model of user trust in AI technologies with sociotechnical factors. We map out the design considerations for integrating user community into the AI code generation experience.

연구 동기 및 목표

• 온라인 커뮤니티가 소프트웨어 개발자들이 AI 기반 코드 생성 도구에 대해 형성하는 신뢰에 미치는 영향를 이해하는 것.
• 특히 커뮤니티 기반 신호와 같은 사회기술적 요인들이 개발자들의 신뢰 판단을 어떻게 형성하는지 특정하는 것.
• 적절한 신뢰를 지원하기 위해 커뮤니티 기능을 AI 코드 생성 시스템에 통합하기 위한 설계 기회를 탐색하는 것.
• 개발자 커뮤니티에서 관찰된 사회기술적 역동성을 반영하여 기존 AI 신뢰 모델을 확장하는 것.
• 커뮤니티 입력을 활용해 신뢰 캘리브레이션을 지원하는 미래의 AI 시스템을 위한 실질적인 설계 고려사항을 제공하는 것.

제안 방법

• AI 코드 도구 주변 온라인 커뮤니티에서의 경험과 신뢰 형성 과정을 탐구하기 위해 17명의 소프트웨어 개발자와 반구조화된 인터뷰를 실시하였다.
• 두 가지 핵심 메커니즘을 특정: 집단적 의미화(공유된 커뮤니티 경험에서 배우기)와 커뮤니티 히وري스틱(커뮤니티에서 생성된 평가 신호 사용하기).
• 공유된 코드 제안, 신뢰 지표, 프라이버시 제어 기능 등 커뮤니티 기능을 GitHub Copilot 인터페이스에 통합한 시각적 디자인 프로브를 개발하였다.
• 개발자들이 커뮤니티 통합 AI 신뢰 기능에 대해 개념적 피드백을 제공할 수 있도록 11회의 디자인 프로브 세션을 수행하였다.
• 발견사항을 종합하여 기존 AI 신뢰 모델에 사회기술적 요소를 통합한 확장 모델을 제안하였으며, 커뮤니티가 정제한 경험과 평가 신호에 중점을 두었다.
• 프라이버시 제어, 동의 메커니즘, 맥락 기반 공유 기능 등을 포함하여 커뮤니티 기능을 AI 코드 생성 시스템에 통합하기 위한 설계 고려사항을 제안하였다.

실험 결과

연구 질문

• RQ1 온라인 커뮤니티는 소프트웨어 개발자들이 AI 기반 코드 생성 도구에 대해 형성하는 신뢰에 어떻게 영향을 미치는가?
• RQ2 개발자들은 AI로 생성된 코드 제안에 대해 평가하고 신뢰를 형성하기 위해 어떤 종류의 커뮤니티 제공 정보를 사용하는가?
• RQ3 어떤 설계 기능이 커뮤니티 입력을 효과적으로 AI 코드 생성 시스템에 통합하여 적절한 신뢰를 지원할 수 있는가?
• RQ4 프라이버시 및 기밀 보장 우려가 개발자들이 커뮤니티 경험을 공유하거나 접근할 의사에 어떤 영향을 미치는가?
• RQ5 커뮤니티 기능은 소프트웨어 개발에서 신뢰 캘리브레이션과 책임감 있는 AI 사용을 지원하기 위해 어떻게 설계될 수 있는가?

주요 결과

• 개발자들은 AI 코드 생성 도구의 기능과 한계를 이해하기 위해 공유된 커뮤니티 경험에 크게 의존하며, 축적된 통찰을 통해 집단적 신뢰를 형성한다.
• 업보트, 댓글, 사용 패턴과 같은 커뮤니티에서 생성된 평가 신호는 특정 AI 제안의 신뢰성 여부를 평가하는 데 도움이 되는 히وري스틱으로 작용한다.
• 프라이버시 우려는 커뮤니티 공유의 주요 장벽이며, 개발자들은 명시적 제어, 동의 메커니즘, 민감한 소스 코드 泄露 방지를 위한 보호 조치를 요구한다.
• 디자인 프로브를 통해 사용자가 누가 자신의 공유 경험을 볼 수 있는지 미리 보기 기능이 필요로 하며, 기밀 정보를 자동으로 탐지하고 제거하는 기능에 강한 관심을 보였다.
• 커뮤니티가 정제한 경험과 평가 신호를 AI 도구에 통합하면 신뢰 캘리브레이션을 크게 향상시킬 수 있으며, AI에 대한 과도한 의존을 줄이고 코드 품질을 향상시킬 수 있다.
• 기존의 AI 신뢰 모델은 사회기술적 역동성을 반영하지 못해 부족하다. 커뮤니티 상호작용은 집단적 의미화와 커뮤니티 히وري스틱이라는 두 가지 구체적인 경로를 제공하며, 이는 신뢰 프레임워크에서 공식적으로 인정되어야 한다.