[논문 리뷰] Adversarial Policies Beat Superhuman Go AIs

Tony Tong Wang, Adam Gleave외 9명|arXiv (Cornell University)|2022. 11. 01.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 초인적 수준의 골프 AI인 KataGo와 같은 초인적 수준의 골프 AIs의 핵심적인 취약점을 악용하는 적대적 정책을 소개한다. 이 정책들은 뛰어난 실력으로 승리하는 것이 아니라 치명적인 실수를 유도함으로써 97% 이상의 승률을 기록한다. 이러한 공격은 다른 최고 수준의 골프 AIs로도 제로샷 전이가 가능하며, 인간 전문가에 의해 재현 가능하다. 이는 초인적 평균 성능에도 불구하고 최악의 상황에서의 강건성 부족을 드러낸다.

ABSTRACT

We attack the state-of-the-art Go-playing AI system KataGo by training adversarial policies against it, achieving a >97% win rate against KataGo running at superhuman settings. Our adversaries do not win by playing Go well. Instead, they trick KataGo into making serious blunders. Our attack transfers zero-shot to other superhuman Go-playing AIs, and is comprehensible to the extent that human experts can implement it without algorithmic assistance to consistently beat superhuman AIs. The core vulnerability uncovered by our attack persists even in KataGo agents adversarially trained to defend against our attack. Our results demonstrate that even superhuman AI systems may harbor surprising failure modes. Example games are available https://goattack.far.ai/.

연구 동기 및 목표

• 초인적 수준의 골프 AI가 뛰어난 평균 성능을 보일지라도, 심각한 최악의 실패 모드를 보이는지 조사하기 위해.
• KataGo와 같은 최첨단 골프 AIs의 특정하고 명백하지 않은 취약점을 악용하는 적대적 정책을 개발하기 위해.
• 이러한 공격이 다른 초인적 수준의 골프 AIs로 전이 가능한지 평가하고 인간 플레이어가 실제로 실행 가능한지 평가하기 위해.
• 발견된 취약점을 보완하기 위해 적대적 훈련이 실제로 효과적인지 검토하기 위해.

제안 방법

• 자기 연속 강화 학습 프레임워크를 사용해 적대적 정책을 훈련시키며, 수목 검색 중에 피해자 모델(KataGo)이 수를 선택하도록 한다.
• 피해자 네트워크에 그레이박스 액세스를 활용해 정책 훈련을 이끌어내어, 공격자가 피해자 모델의 의사결정에서 악용 가능한 약점을 학습할 수 있도록 한다.
• 두 가지 다른 공격 전략을 설계한다: 순환형 적대자(cyclic-adversary)는 순환 구조의 단일 그룹을 포로로 삼고, 패스 적대자(pass-adversary)는 조기 패스를 유도해 게임을 조기 종료시킨다.
• 다양한 검색 설정(예: 1회 수에 1,000만 번의 방문 수)에서 공격를 평가하여 고검색, 초인적 구성에서도 강건성을 테스트한다.
• 다른 초인적 수준의 골프 AIs에 대해 제로샷 전이 평가를 수행하여 공격의 일반화 능력을 평가한다.
• 내부 모델 활성화의 분석 및 아블레이션을 수행하여 취약성의 근본 원인을 이해하고, 특히 순환 구조와 패스 생존 행동에서의 문제를 분석한다.

실험 결과

연구 질문

• RQ1 적대적 정책이 뛰어난 플레이 실력에 의존하지 않고도 초인적 수준의 골프 AIs에서 치명적인 실패를 유도할 수 있는가?
• RQ2 이러한 공격이 다른 최첨단 골프 AIs로 제로샷 전이 가능한가? 이는 더 넓은 체계적 취약성을 시사하는가?
• RQ3 인간 전문가가 알고리즘 지원 없이도 적대적 전략을 수동으로 재현하여 초인적 수준의 AIs를 일관되게 이길 수 있는가?
• RQ4 KataGo의 핵심 취약점이 적대적 훈련에 의해 회복되지 않아, 근본적인 설계 결함을 시사하는가?
• RQ5 내부 모델 다이내믹스(예: 활성화 패턴)는 순환 구조나 패스 생존 문제와 같은 악용 가능한 약점의 발생과 어떻게 관련되어 있는가?

주요 결과

• 조직된 검색을 1,000만 번 사용하는 KataGo와의 대결에서도 적대적 정책이 97% 이상의 승률을 기록하여 초인적 수준의 강건성이 보장되지 않음을 확인했다.
• 순환형 적대자(cyclic-adversary)는 순환 구조에서 큰 그룹을 잃게 하여 KataGo가 치명적인 실수를 범하도록 유도했으며, 이 실패 모드는 강력한 검색 조건에서도 지속되었다.
• 패스 적대자(pass-adversary)는 트롬프-테일러 규칙셋의 룰 기반 취약점을 악용하여 KataGo가 조기 패스를 하게 하고, 영역 기반 승패로 패배하게 했다.
• 인간 전문가들이 순환형 적대자 전략을 수동으로 재현하여 알고리즘 지원 없이도 여러 초인적 수준의 골프 AIs를 일관되게 이겼다.
• 공격에 대비해 적대적 미세조정을 거친 후에도 KataGo는 여전히 동일한 실패 모드에 취약했으며, 이는 결함이 구조적일 뿐 아니라 쉽게 수리되지 않음을 시사한다.
• 내부 활성화 분석을 통해 KataGo가 순환 구조와 비순환 구조의 그룹을 처리할 때 다른 패턴을 보이며, 이는 특정한 모델 행동과 취약성의 연관성을 밝혀냈다.