[논문 리뷰] The "Collections as ML Data" Checklist for Machine Learning & Cultural Heritage

Benjamin Charles Germain Lee|arXiv (Cornell University)|2022. 07. 06.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 문화유산 컬렉션에 기계학습을 책임감 있게 적용하기 위한 종합적이고 실무 중심의 프레임워크인 '컬렉션을 기계학습 데이터로 간주하기' 체크리스트를 소개한다. 이 프레임워크는 기계학습 및 문화유산 분야의 최선의 실천 방식을 기반으로 하여 프로젝트 수명주기 단계 전반에 걸쳐 사회기술적 고려사항을 통합하며, 윤리적이고 투명하며 지속 가능한 기계학습 프로젝트를 보장하기 위한 실행 가능한 질문들을 제공한다. 이는 GLAM(미술관, 도서관, 아카이브, 갤러리) 환경에서의 기계학습 적용을 뒷받침한다.

ABSTRACT

Within the cultural heritage sector, there has been a growing and concerted effort to consider a critical sociotechnical lens when applying machine learning techniques to digital collections. Though the cultural heritage community has collectively developed an emerging body of work detailing responsible operations for machine learning in libraries and other cultural heritage institutions at the organizational level, there remains a paucity of guidelines created specifically for practitioners embarking on machine learning projects. The manifold stakes and sensitivities involved in applying machine learning to cultural heritage underscore the importance of developing such guidelines. This paper contributes to this need by formulating a detailed checklist with guiding questions and practices that can be employed while developing a machine learning project that utilizes cultural heritage data. I call the resulting checklist the "Collections as ML Data" checklist, which, when completed, can be published with the deliverables of the project. By surveying existing projects, including my own project, Newspaper Navigator, I justify the "Collections as ML Data" checklist and demonstrate how the formulated guiding questions can be employed and operationalized.

연구 동기 및 목표

• 기계학습을 문화유산 데이터에 적용하기 위한 실용적이고 프로젝트 수준의 지침이 부족한 문제를 해결하기 위해.
• 편향, 지속 가능성, 개인정보 보호와 같은 기계학습의 사회기술적 위험을 문화유산 분야에서 효과적으로 관리할 수 있도록 실무자들을 지원하기 위해.
• 투명성과 책임감을 높이기 위해 프로젝트 배포물과 함께 게시할 수 있는 구조화되고 재사용 가능한 체크리스트를 제공하기 위해.
• 비판적 데이터 연구, 디지털 인문학, 책임감 있는 인공지능 분야의 기존 원칙들을 분야 특화된 맥락에서 구체화하기 위해.
• 문화유산 분야의 기계학습 프로젝트가 윤리적으로 바탕을 다지며, 재현 가능하고 장기적으로 유지보수 가능한 방식으로 운영되도록 보장하기 위해.

제안 방법

• 기존 기계학습 체크리스트(예: 모델 카드, 데이터 카드)와 문화유산 분야의 최선의 실천 방식(예: 책임감 있는 운영, 비판적 카탈로그 작성)을 통합하여 개발되었다.
• 다음 네 가지 핵심 섹션으로 구성되어 있다: 데이터 및 모델, 환경 영향, 조직적 고려사항, 저작권/투명성/유지보수.
• 10개의 하위범주에 걸쳐 총 105개의 지침 질문을 포함하며, 프로젝트 개발 기간 동안 완료하고 출력물과 함께 게시하도록 설계되었다.
• 실제 프로젝트 분석(저자의 뉴스페이퍼 나비게이터 포함)을 통해 검증되었으며, 실용적 적용 가능성을 입증하였다.
• 장기적인 프로젝트 신뢰성 확보를 위해 이해관계자 참여, 감사 가능성, 라이선싱, 그리고 런칭 후 피드백 루프를 강조한다.
• 문서화, 재현 가능성, 공개적 책임감에 중점을 두어 기관 워크플로우에 통합될 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 문화유산 기관의 실무자들은 디지털화된 컬렉션에 기계학습을 적용할 때 윤리적 및 기술적 영향을 체계적으로 평가하는 방법은 무엇인가?
• RQ2 문화유산 컬렉션을 데이터로 간주할 때 기계학습 개발을 윤리적으로 이끄는 데 도움이 되는 구체적이고 실행 가능한 질문은 무엇인가?
• RQ3 GLAM 환경에서의 기계학습 프로젝트는 초기 배포 이후에도 어떻게 투명성, 감사 가능성, 지속 가능성을 확보할 수 있는가?
• RQ4 이해관계자 입력, 저작권, 환경 영향은 문화유산 분야에서 기계학습의 책임감 있는 실천 방식을 어떻게 형성하는가?
• RQ5 표준화된 체크리스트가 문화유산 데이터를 포함한 기계학습 프로젝트의 재현 가능성과 책임감을 어떻게 향상시킬 수 있는가?

주요 결과

• '컬렉션을 기계학습 데이터로 간주하기' 체크리스트는 문화유산 데이터를 활용한 기계학습 프로젝트에 윤리적이고 기술적인 엄격함을 통합하기 위한 종합적이고 현장 검증된 프레임워크를 제공한다.
• 이 체크리스트는 비판적 데이터 연구 및 책임감 있는 인공지능 분야의 추상적 원칙들을 구체적인 프로젝트 수준 질문으로 성공적으로 구현한다.
• 체크리스트를 완료한 프로젝트는 사례 연구(예: 뉴스페이퍼 나비게이터)를 통해 투명성 향상, 이해관계자 참여 증대, 지속 가능성 계획 강화를 보여준다.
• 문서화된 데이터 출처, 모델의 한계, 라이선싱 조건을 요구함으로써 재현 가능성과 감사 가능성을 지원한다.
• 기관 차원에서 체크리스트를 도입함으로써 GLAM 환경에서 장기적인 데이터 숙련도와 책임감 있는 혁신이 가능해진다.
• 체크리스트의 런칭 후 피드백 구성 요소(예: 대상 청중 범위, 이해관계자 피드백)는 프로젝트의 책임감과 점진적 개선을 강화한다.