[논문 리뷰] ABOUT ML: Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles

Inioluwa Deborah Raji, Jingying Yang|arXiv (Cornell University)|2019. 12. 12.

Scientific Computing and Data Management참고 문헌 19인용 수 23

한 줄 요약

ABOUT ML 프로젝트는 기계학습 시스템의 투명성과 책임성을 향상시키기 위해 기계학습 라이프사이클 전반에 걸쳐 표준화되고 협업 가능한 프레임워크를 제안한다. 구조화된 문서 템플릿, 기술위원회와 다양한 목소리 패anel을 통한 다양한 이해관계자 심의 과정, 그리고 공개 댓글 반복을 결합하여, 산업계와 연구 분야에서 실천 가능하고 확장 가능한 표준으로 투명성을 구현하고자 한다.

ABSTRACT

We present the "Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles" (ABOUT ML) project as an initiative to operationalize ML transparency and work towards a standard ML documentation practice. We make the case for the project's relevance and effectiveness in consolidating disparate efforts across a variety of stakeholders, as well as bringing in the perspectives of currently missing voices that will be valuable in shaping future conversations. We describe the details of the initiative and the gaps we hope this project will help address.

연구 동기 및 목표

• 기계학습 시스템에서 투명성 원칙이 윤리적 원칙으로 널리 수용됨에도 불구하고, 일관되고 실행 가능한 투명성 관행의 부족을 해결하기 위해.
• 산업계, 정부, 시민사회 분야의 산산이 흩어진 투명성 노력들을 통합된 표준 문서화 프레임워크로 통합하기 위해.
• 기존에 소외된 공동체, 특히 소수자 단체의 목소리가 투명성 표준 개발에 의미 있게 포함될 수 있도록 전용 피드백 메커니즘을 마련하기 위해.
• 다양한 팀과 조직에서의 도입 장벽을 줄이기 위해 실용적이고 워크플로우에 통합된 솔루션을 제공하여 투명성을 실천 가능한 방식으로 구현하기 위해.
• 신규 연구, 정책 변화, 실제 구현 피드백에 대응해 지속적으로 발전하는 살아있는 표준을 구축하기 위해.

제안 방법

• 영양성분 라벨을 모델로 삼아 데이터, 모델 행동, 위험 요소, 제한 사항 등의 핵심 정보를 기록하는 표준화된 기계학습 시스템 문서 템플릿을 개발하기 위해.
• 30명의 다양한 조직 소속 전문가로 구성된 기술위원회를 통해 개선 및 릴리스 승인을 이끄는 다수 이해관계자 거버넌스 모델을 구현하기 위해.
• 워싱턴 대학교 테크놀로지 정책 랩과 공동으로 개발한 Diverse Voices 패널을 통해 기존에 인공지능 의사결정 과정에서 배제된 공동체의 의견을 수렴하기 위해.
• 각 릴리스 이전에 일반 공동체의 피드백을 수렴하기 위해 공개 댓글 기간과 '초기 합의' 프로세스를 도입하기 위해.
• 반복적이고 버전 관리가 가능한 릴리스 프로세스(예: 검토 중인 Release 0, 2020년 초 예상되는 Release 1)로 구성하여 지속적인 개선을 보장하기 위해.
• GDPR, FCRA, ECOA 및 기업 AI 원칙과 같은 기존 규제 및 산업 관행과 연계하여 관련성과 도입 가능성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 다양한 조직과 워크플로우에서 실천 가능하고 확장 가능하며 일관된 방식으로 기계학습의 투명성을 어떻게 운영화할 수 있는가?
• RQ2 소외된 및 소수자 공동체가 기계학습 투명성 표준 개발에 의미 있게 기여할 수 있도록 보장할 수 있는 메커니즘은 무엇인가?
• RQ3 표준화된 문서화 프레임워크는 기계학습 시스템 배포 및 감사 과정에서 모호성을 줄이고 책임성을 향상시키는 데 어떻게 기여하는가?
• RQ4 신뢰성과 투명성을 지원하는 종합적이고 실행 가능하며 인간이 읽을 수 있는 기계학습 문서 템플릿의 핵심 구성 요소는 무엇인가?
• RQ5 지속적인 피드백과 신규 연구 및 정책 변화에 대응해 발전하는 살아있는 표준을 유지하기 위해선 어떤 방법이 필요한가?

주요 결과

• 50개의 기계학습 원칙 문구 중 94%가 투명성을 명시적으로 언급하여, AI 거버넌스에서 가장 자주 언급되는 윤리 원칙임을 확인한다.
• 투명성이 필수적이라는 널리 인정된 인식에도 불구하고, 고위 원칙을 구체적이고 실행 가능한 문서화 관행로 전환하는 데 여전히 큰 격차가 존재한다.
• ABOUT ML은 30명의 다양한 전문가로 구성된 기술위원회를 구성했으며, Diverse Voices 패널의 피드백을 통합하여 포용적인 표준 개발을 보장하고 있다.
• 공개 댓글 단계를 거치며 반복적이고 버전 관리된 릴리스 프로세스로 구성되어 있으며, 2020년 초에 Release 1을 출시하고 공식 권고안을 제시할 예정이다.
• 문서화 과정은 정적 자료를 넘어서, 기계학습 라이프사이클 전반에 걸쳐 비판적 사고와 윤리적 성찰을 촉진하는 역동적인 프로세스로 위치시킨다.
• 지적 재산권, 정보 보안, 맞춤형 요구 사항 등의 주요 과제를 다루며, 투명성을 책임성의 기초적 메커니즘으로 촉진한다.