[논문 리뷰] SoK: Machine Learning Governance

Varun Chandrasekaran, Hengrui Jia외 4명|arXiv (Cornell University)|2021. 09. 20.

Adversarial Robustness in Machine Learning참고 문헌 297인용 수 11

한 줄 요약

이 논문은 기계학습 거버넌스를 위한 네 기둥 프레임워크—소유권, 책임성, 신뢰성 확보, 생애주기 관리—를 제안하여 책임감 있는 ML 구현을 가능하게 한다. 모델과 데이터에 대한 정의를 체계화하고, 실패 원인을 특정 지으며, 검증 가능한 주장으로 신뢰를 확보하고, 동적 모델 업데이트를 지원함으로써 저자들은 이해관계자 간 ML 위험과 이점의 균형을 이루는 게임 이론적 기반을 구축한다.

ABSTRACT

The application of machine learning (ML) in computer systems introduces not only many benefits but also risks to society. In this paper, we develop the concept of ML governance to balance such benefits and risks, with the aim of achieving responsible applications of ML. Our approach first systematizes research towards ascertaining ownership of data and models, thus fostering a notion of identity specific to ML systems. Building on this foundation, we use identities to hold principals accountable for failures of ML systems through both attribution and auditing. To increase trust in ML systems, we then survey techniques for developing assurance, i.e., confidence that the system meets its security requirements and does not exhibit certain known failures. This leads us to highlight the need for techniques that allow a model owner to manage the life cycle of their system, e.g., to patch or retire their ML system. Put altogether, our systematization of knowledge standardizes the interactions between principals involved in the deployment of ML throughout its life cycle. We highlight opportunities for future work, e.g., to formalize the resulting game between ML principals.

연구 동기 및 목표

• 개인정보 침해, 불공정한 예측, 오락성 정보 유포, 무결성 실패 등의 사회적 위험 증가에 대응한다.
• 기존의 ML 보안 및 개인정보 보호 연구를 체계화하여 책임감 있는 ML 구현을 위한 표준 거버넌스 모델을 구축한다.
• 모델 소유주가 소유권을 입증하고, 실패에 대해 책임을 지며, 시스템 행동에 대한 검증 가능한 보장을 제공할 수 있는 메커니즘을 확립한다.
• 패치 적용, 업데이트, 모델 폐기 등을 지원하는 생애주기 관리 기법을 통해 동적 모델 관리를 가능하게 한다.
• 모델 소유주, 사용자, 규제 기관 간 상호작용을 스택엘베르크 게임으로 형식화하여 위험-이점 트레이드오프와 책임성을 모델링한다.

제안 방법

• 모델과 학습 데이터의 소유권을 명확히 할 수 있도록 ML 시스템 내 '정체성' 개념을 도입한다.
• 정체기반 할당을 통해 개발자 및 최종 사용자와 같은 특정 주체에게 모델 실패의 책임을 부여한다.
• 기존에 알려지지 않은 실패를 탐지하고 할당하기 위한 감사 메커니즘을 개발한다.
• 개인정보 보호 보장(예: 차등적 비밀유지), 강건성 검증, 검증 가능한 학습 로그와 같은 보증 기법을 조사하고 통합한다.
• 패치 적용, 행동 수정, 폐기 등을 지원하는 생애주기 관리 메커니즘을 제안하며, 기계적 기억 삭제 기술의 과제도 포함한다.
• 주요 당사자 간의 거버넌스 상호작용을 스택엘베르크 게임으로 모델링하여 전략적 상호작용과 균형 결과를 형식화한다.

실험 결과

연구 질문

• RQ1 모델과 데이터의 소유권을 형식적으로 확립할 수 있는 방법은 무엇인가? 이는 책임성 확보에 기여한다.
• RQ2 특정 주체(예: 외부 감사자 포함)에게 모델 실패를 신뢰성 있게 할당할 수 있는 메커니즘은 무엇인가?
• RQ3 모델 소유주가 시스템이 보안 및 공정성 요구사항을 충족한다는 것을 사전에 검증 가능한 방식으로 입증할 수 있는 방법은 무엇인가?
• RQ4 배포 후 모델 업데이트, 패치 적용, 폐기 등을 지원하기 위해 필요한 기술적 및 절차적 메커니즘은 무엇인가?
• RQ5 모델 소유주, 사용자, 규제 기관 간의 전략적 상호작용을 어떻게 모델링하여 ML 위험과 이점을 균형 있게 조정할 수 있는가?

주요 결과

• 모델 및 데이터의 소유권과 정체성은 책임성의 기초가 되며, 실패에 대한 책임을 부여하기 위해서는 위조 불가능한 소유권 주장이 필수적이다.
• 학습 및 배포 과정에서 수집된 검증 가능한 증거를 통합함으로써 책임성 확보 및 감사 기반의 책임 할당이 향상될 수 있다.
• 차등적 비밀유지 및 강건성 테스트와 같은 보증 기법은 형식화하고 문서화할 수 있어 신뢰를 구축하지만, 일반적으로 사후 적용된다.
• 모델 업데이트, 기억 삭제, 폐기 기능을 지원하는 생애주기 관리는 장기적 거버넌스에 필수적이지만, 특히 행동 수정에 있어서는 여전히 개발이 부족한 상태이다.
• 제안된 스택엘베르크 게임 모델은 주요 당사자 간의 전략적 상호작용을 형식화하고, ML 이익과 위험을 균형 잡는 균형 상태를 식별한다.
• 기술적 진보(예: 차등적 비밀유지)와 법적 프레임워크(예: 익명화) 사이에 상당한 격차가 존재하여, 책임감 있는 ML 관행의 실질적 도입이 저해되고 있다.