[논문 리뷰] Pretrained AI Models: Performativity, Mobility, and Change

Lav R. Varshney, Nitish Shirish Keskar외 1명|arXiv (Cornell University)|2019. 09. 07.

Topic Modeling참고 문헌 79인용 수 19

한 줄 요약

이 논문은 사전에 학습된 AI 모델을 사회기술적 실체로 간주하여 그들의 성능성, 사용자 네트워크를 가로질러의 이동성, 그리고 윤리적 함의를 분석한다. 이는 책임감 있는 혁신, 사용자 중심 설계, 그리고 동적 감시를 통합한 거버넌스 프레임워크를 제안하여 편향과 오용 문제를 해결하고, 제조자와 주요 사용자 간의 공동 책임을 강조한다.

ABSTRACT

The paradigm of pretrained deep learning models has recently emerged in artificial intelligence practice, allowing deployment in numerous societal settings with limited computational resources, but also embedding biases and enabling unintended negative uses. In this paper, we treat pretrained models as objects of study and discuss the ethical impacts of their sociological position. We discuss how pretrained models are developed and compared under the common task framework, but that this may make self-regulation inadequate. Further how pretrained models may have a performative effect on society that exacerbates biases. We then discuss how pretrained models move through actor networks as a kind of computationally immutable mobile, but that users also act as agents of technological change by reinterpreting them via fine-tuning and transfer. We further discuss how users may use pretrained models in malicious ways, drawing a novel connection between the responsible innovation and user-centered innovation literatures. We close by discussing how this sociological understanding of pretrained models can inform AI governance frameworks for fairness, accountability, and transparency.

연구 동기 및 목표

• 사전에 학습된 AI 모델이 사회적 및 기술적 네트워크를 통해 이동함에 따라 발생하는 사회학적 및 윤리적 함의를 분석하는 것.
• AI의 공통 작업 프레임워크가 편향을 악화시키고 예상치 못한 사용을 가능하게 할 수 있는 성능성의 형태를 드러내는 것.
• 피팅 및 전이 학습을 통해 사전에 학습된 모델을 재해석하고 재사용하는 주요 사용자의 역할을 탐색하는 것.
• 사용자 주도 기술 변화와 공동 책임을 포함하도록 책임감 있는 혁신 프레임워크를 확장해야 한다는 주장을 펼치는 것.
• 모델의 이동성, 해석의 유연성, 그리고 변화하는 사회적 영향을 고려한 다층적 거버넌스 모델을 제안하는 것.

제안 방법

• 사전에 학습된 모델를 사회기술적 행위자로 간주하기 위해 과학·기술·사회(Science and Technology Studies, STS) 프레임워크를 적용하며, 기술의 사회적 구성(SCOT) 및 액터-망 이론을 포함한다.
• 공통 벤치마크를 향한 추구가 모델 개발을 이끌고 체계적 편향을 강화하는 방식을 묘사하기 위해 '성배의 성능성(Holy Grail performativity)' 개념을 도입한다.
• 제조자와 주요 사용자가 윤리적 결과에 대해 공동 책임을 지는 네트워크 중심 거버넌스 모델을 제안한다.
• 진행 중인 위험과 예상치 못한 사용에 대응하기 위해 제조자 중심, 정적, 사전 정의된 피드백 기반(피드백 기반)의 세 가지 거버넌스 범주를 제안한다.
• 모델의 이동성과 응용 분야 간 재조합을 예측하기 위해 조합 계산법과 기술 전망 기법을 통합한다.
• 지속적인 위험 모니터링을 위해 사전 감시에 통계적 공정성 테스트와 사회적 학습 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 AI 모델은 어떻게 사회적 규범과 편향을 형성하고 강화하는 성능성 행위자로 작동하는가?
• RQ2 주요 사용자는 어떻게 사전에 학습된 모델을 재해석하고 재사용함으로써 기술 변화의 주체가 되는가?
• RQ3 왜 자율 규제는 사전에 학습된 모델을 거버넌스하는 데 부족하며, 정적 거버넌스 접근 방식의 한계는 무엇인가?
• RQ4 다양한 응용 분야에서 사전에 학습된 모델의 이동성과 해석의 유연성을 고려하여 거버넌스 프레임워크는 어떻게 적응되어야 하는가?
• RQ5 이중 용도 위험과 예상치 못한 결과를 고려할 때, 사용자 혁신과 공동 책임은 AI 거버넌스에서 어떤 역할을 해야 하는가?

주요 결과

• GPT-2와 같은 대규모 사전에 학습된 모델을 훈련하는 데 $250,000이 들었고, SQuAD에서 BERT를 피팅하는 데는 단지 $3만이 소요되어, 하류 사용자에게 유리한 극심한 비용 비대칭성이 드러났다.
• AI의 공통 작업 프레임워크는 '성배의 성능성'을 만들어내며, 이는 모델이 벤치마크 성능을 향해 추진되게 하고, 임베디드된 편향을 악화시킬 수 있다.
• 사전에 학습된 모델는 '계산적 불변성(computational immutability)'을 보이며, 훈련이 끝난 후 수정이 어려우나, 다양한 응용 분야에서 해석 가능하고 재사용 가능하다.
• 주요 사용자들은 피팅 및 전이 학습을 통해 모델의 진화에 상당한 영향을 미치며, 제조자의 통제를 벗어난 기술 변화의 핵심 주체가 된다.
• 성능 중심 연구의 추진력과 이중 용도 위험으로 인해 자율 규제와 자율적 모델 출시 일시 정지 조치는 부족하다.
• 공정성, 책임성, 투명성을 확보하기 위해 제조자 책임, 정적 조합 규칙, 피드백 기반 감시를 조합한 다층 거버넌스 접근이 필요하다.