[논문 리뷰] Truthful AI: Developing and governing AI that does not lie

Owain Evans, Owen Cotton-Barratt외 6명|arXiv (Cornell University)|2021. 10. 13.

Ethics and Social Impacts of AI참고 문헌 70인용 수 9

한 줄 요약

이 논문은 가시적이고 개인화된 기만을 방지하기 위해 인공지능 시스템에 이행 가능한 진실성 기준을 수립할 것을 제안한다. 이는 '경계적 거짓'을 피하는 데 기반을 두고, 독립적인 평가 기관을 조성하며, 정제된 인간 피드백을 활용해 AI를 훈련시켜 강력한 진실성 확보를 위한 프레임워크를 주장한다. 이는 기민한 방법으로 위험한 인공지능 기반의 존재적 위험을 완화하는 데 기여한다.

ABSTRACT

In many contexts, lying -- the use of verbal falsehoods to deceive -- is harmful. While lying has traditionally been a human affair, AI systems that make sophisticated verbal statements are becoming increasingly prevalent. This raises the question of how we should limit the harm caused by AI "lies" (i.e. falsehoods that are actively selected for). Human truthfulness is governed by social norms and by laws (against defamation, perjury, and fraud). Differences between AI and humans present an opportunity to have more precise standards of truthfulness for AI, and to have these standards rise over time. This could provide significant benefits to public epistemics and the economy, and mitigate risks of worst-case AI futures. Establishing norms or laws of AI truthfulness will require significant work to: (1) identify clear truthfulness standards; (2) create institutions that can judge adherence to those standards; and (3) develop AI systems that are robustly truthful. Our initial proposals for these areas include: (1) a standard of avoiding "negligent falsehoods" (a generalisation of lies that is easier to assess); (2) institutions to evaluate AI systems before and after real-world deployment; and (3) explicitly training AI systems to be truthful via curated datasets and human interaction. A concerning possibility is that evaluation mechanisms for eventual truthfulness standards could be captured by political interests, leading to harmful censorship and propaganda. Avoiding this might take careful attention. And since the scale of AI speech acts might grow dramatically over the coming decades, early truthfulness standards might be particularly important because of the precedents they set.

연구 동기 및 목표

• 사용자를 대규모로 기만하는 위험한, 확장 가능한 거짓말을 생성하는 인공지능 시스템의 위험 증가에 대응하기 위해.
• 인간의 도덕적 기준과는 다를 바 있는, 더 정밀하고 이행 가능한 기준을 가능하게 하는 인공지능 진실성 거버넌스 프레임워크를 개발하기 위해.
• 진실한 인공지능이 공적 지식 체계, 경제적 신뢰, 민주적 의사결정을 향상시키는 방식을 탐색하기 위해.
• 진실성 평가 시스템이 정치적 또는 이데올로기적 이해관계에 의해 점령당할 수 있는 위험을 예측하고 이를 완화하기 위해.
• 미래의 인공지능 개발을 형성하고 해로운 전례를 방지하기 위해 초기 단계에서 강력한 진실성 기준을 마련하기 위해.

제안 방법

• 최소한의 노력이나 감시로 피할 수 있었던 거짓말, 즉 '경계적 거짓말'을 측정 가능한 기준으로 제안한다.
• 표준화된 벤치마크를 사용해 배포 이전 및 이후에 인공지능 시스템을 평가하기 위해 독립된 기관을 설립할 것을 권고한다.
• 정제된 데이터셋과 인간 피드백을 활용해 언어 모델을 미세조정함으로써 진실성 향상을 위한 명시적 훈련을 주장한다.
• 배포 이전 평가를 위해 시뮬레이션과 격리된 환경을 사용해 기만적 행동을 탐지할 것을 제안한다.
• 장기적인 기만적 의도를 암시할 수 있는 내부 상태를 모니터링하기 위해 투명성 및 설명 가능성 도구의 중요성을 강조한다.
• 안전성보다 진실성이 더 모니터링이 용이하므로, 더 넓은 사회적 감시 및 이행 메커니즘을 가능하게 한다고 제안한다.

실험 결과

연구 질문

• RQ1 인간의 도덕적 기준의 모호성에서 벗어나 실용적이고 이행 가능한 인공지능 진실성 기준을 어떻게 정의할 수 있는가?
• RQ2 다양한 배포 환경에서 인공지능의 진실성을 신뢰성 있게 평가할 수 있는 기관적 메커니즘은 무엇인가?
• RQ3 최적화 압력으로 인해 조작하거나 기만하려는 압력이 있더라도, 인공지능 시스템이 견고하게 진실성을 유지할 수 있는 방법은 무엇인가?
• RQ4 진실성 평가 시스템이 검열이나 선전에 악용될 위험은 무엇이며, 이를 어떻게 방지할 수 있는가?
• RQ5 인공지능 개발에서의 돌이킬 수 없는 전례가 만들어질 가능성이 있는 바탕에서, 왜 지금 진실성 기준을 수립하는 것이 필수적인가?

주요 결과

• 진실한 인공지능은 경제적, 과학적, 민주적 영역에서 기만을 크게 줄여, 인공지능이 생성한 정보에 대한 정당한 신뢰를 가능하게 한다.
• '경계적 거짓말' 개념은 기존의 거짓말 개념보다 더 실천 가능하고 평가 가능하므로, 평가 및 이행에 유리한 기준을 제공한다.
• 인공지능의 진실성 평가 기관은 실현 가능하며 필수적이다. 특히 대규모로 인공지능의 안전성을 모니터링하기 어려운 점을 고려할 때 그렇다.
• 정제된 데이터셋과 인간 피드백을 활용한 훈련은 진실성을 향상시킬 수 있지만, 기만적 일치를 방지하기 위해 강력한 평가 체계와 병행되어야 한다.
• 진실성 기준을 초기 단계에서 마련하는 데 중요한 창이 존재하며, 초기 기준은 장기적인 인공지능 거버넌스 및 행동을 형성할 것이다.
• 안전성보다 진실성이 더 대규모로 모니터링이 가능하므로, 사회적 감시 및 규제의 더 실현 가능한 대상이 된다.