[논문 리뷰] A Comparative Analysis of Industry Human-AI Interaction Guidelines

Austin P. Wright, Zijie J. Wang외 7명|arXiv (Cornell University)|2020. 10. 22.

Human-Automation Interaction and Safety참고 문헌 10인용 수 15

한 줄 요약

이 논문은 애플, 구글, 마이크로소프트의 인간-AI 상호작용 지침을 종합한 통합 분류 체계를 제시하며, 설계 원칙에 대한 각 기업의 중점을 비교한다. 190개 이상의 지침을 분석한 결과, 마이크로소프트는 정신 모델에 중점을 두고 있으며, 구글은 모델 중심의 접근 방식을 취하고, 애플은 원활한 사용자 경험에 초점을 맞추고 있음을 밝혀냈다. 동시에 https://ai-open-guidelines.readthedocs.io/에서 공개되고 커뮤니티가 확장 가능한 프레임워크를 제공한다.

ABSTRACT

With the recent release of AI interaction guidelines from Apple, Google, and Microsoft, there is clearly interest in understanding the best practices in human-AI interaction. However, industry standards are not determined by a single company, but rather by the synthesis of knowledge from the whole community. We have surveyed all of the design guidelines from each of these major companies and developed a single, unified structure of guidelines, giving developers a centralized reference. We have then used this framework to compare each of the surveyed companies to find differences in areas of emphasis. Finally, we encourage people to contribute additional guidelines from other companies, academia, or individuals, to provide an open and extensible reference of AI design guidelines at https://ai-open-guidelines.readthedocs.io/.

연구 동기 및 목표

• 주요 기술 기업들의 인간-AI 상호작용 지침을 통합하고 비교하여 산업 표준의 분열 문제를 해결한다.
• 기존의 기업 전용 구조를 초월해 확장 가능한 통합 분류 체계를 개발한다.
• 기업 간 지침의 중점 차이를 규명하여 조직 문화와 개발 방법론이 지침 우선순위에 어떻게 영향을 미치는지 밝힌다.
• AI 개발자, 연구자, 전문가들을 위한 통합된 커뮤니티 기반 참조 자료를 제공한다.
• 학계, 산업계, 개인 기여자를 유도하여 지침 프레임워크의 확장성과 지속 가능성을 높인다.

제안 방법

• 애플, 구글, 마이크로소프트에서 발표한 인간-AI 상호작용 지침을 종합적으로 조사했다.
• 유사도 다이어그램과 주제 군집 기법을 사용해 모든 지침을 하나의 통합 계층적 구조로 매핑했다.
• 인터페이스, 데이터, 정신 모델, 설명 가능성, 오류 처리의 5개 주요 영역에 걸쳐 12개의 핵심 하위범주로 지침을 분류했다.
• 각 하위범주 내에서 지침 빈도를 세어 기업별 중점 비중을 정량화했다.
• 학술적 HCI 문헌과의 비교를 통해 프레임워크의 타당성을 검증하고, 겹침과 빈도를 파악하기 위해 적용했다.
• 커뮤니티 기여를 위한 개방형 확장 가능한 지침 레포지터리로 변환하여 https://ai-open-guidelines.readthedocs.io/에 배포했다.

실험 결과

연구 질문

• RQ1 애플, 구글, 마이크로소프트의 지침은 인간-AI 상호작용의 핵심 원칙에서 어떤 차이를 보이며, 중점이 어디에 놓여 있는가?
• RQ2 각 기업의 지침 개발과 중점 설정에 영향을 미치는 배경이 되는 개발 방법론과 조직 가치는 무엇인가?
• RQ3 산업 지침은 학술적 HCI 연구와 기존의 최선의 실천 방식과 얼마나 일치하거나 상이한가?
• RQ4 분산된 산업 지침을 통합하고 커뮤니티가 확장 가능한 분류 체계를 구축할 수 있는가?
• RQ5 오픈이고 협업적인 캐스팅 방식은 AI 상호작용 표준의 장기적 지속 가능성과 관련성 향상에 어떻게 기여하는가?

주요 결과

• 마이크로소프트의 지침은 정신 모델에 가장 큰 비중을 두었으며, 전체 지침의 약 40%가 이 범주에 속해 있었다.
• 구글의 지침은 모델 관련 요소에 가장 집중되어 있었으며, 이는 엔지니어링 중심의 모델 중심 개발 방식을 반영하고 있었다.
• 애플의 지침은 오류 방지, 校정, 자신감, 다양한 선택지 등 사용자 경험 요소에 강한 중점을 두었으며, 이는 디자인 중심의 조직 문화를 반영하고 있었다.
• 구조와 중점의 차이가 있었음에도 불구하고, 세 기업 모두 인터페이스 설계, 설명 가능성, 피드백 메커니즘 분야에서 공통 원칙을 공유했으며, 이는 점차 공감대가 형성되고 있음을 시사한다.
• 통합된 분류 체계는 190개 이상의 지침을 성공적으로 수용했으며, 어느 한 기업도 모든 지침 범주를 완전히 커버하지 못하고 있음을 드러내어 통합의 필요성을 강조했다.
• 연구 결과는 조직 문화와 개발 방법론이 지침 우선순위에 상당한 영향을 미친다는 점을 입증하였으며, 학술적, 엔지니어링적, 디자인 중심의 접근 방식이 각각 다른 중점을 낳고 있음을 확인했다.