[논문 리뷰] Learning from data in the mixed adversarial non-adversarial case: Finding the helpers and ignoring the trolls

Da Young Ju, Jing Xu외 2명|arXiv (Cornell University)|2022. 08. 05.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 인간 피드백 학습에서 악성 및 비악성 혼합 환경에서 모델 훈련을 향상시키기 위해 사용자 수준의 강건한 학습 방법을 제안한다. 여기서 도xed나 오해를 유도하는 입력을 제공하는 토롤러들이 존재한다. 반복적인 위반자들을 집계된 사용자 행동을 통해 식별함으로써, 예시 기반 방법에 비해 사용자 기반 방법인 Soft PURR가 새로운 벤치마크(SafetyMix)와 실제 구현 데이터 모두에서 더 뛰어난 강건성과 토롤러 탐지 성능을 보여주었다.

ABSTRACT

The promise of interaction between intelligent conversational agents and humans is that models can learn from such feedback in order to improve. Unfortunately, such exchanges in the wild will not always involve human utterances that are benign or of high quality, and will include a mixture of engaged (helpers) and unengaged or even malicious users (trolls). In this work we study how to perform robust learning in such an environment. We introduce a benchmark evaluation, SafetyMix, which can evaluate methods that learn safe vs. toxic language in a variety of adversarial settings to test their robustness. We propose and analyze several mitigating learning algorithms that identify trolls either at the example or at the user level. Our main finding is that user-based methods, that take into account that troll users will exhibit adversarial behavior across multiple examples, work best in a variety of settings on our benchmark. We then test these methods in a further real-life setting of conversations collected during deployment, with similar results.

연구 동기 및 목표

• 대화형 AI에서 고급 품질의 도우미와 악성 또는 저품질의 토롤러가 공존하는 현실 세계의 인간 피드백에서 학습하는 도전 과제를 해결한다.
• 지속적인 학습 중 모델 성능을 체계적으로 악화시키는 악성 사용자 행동의 영향을 식별하고 완화한다.
• 마스터 토롤러, 안전/비안전 레이블러, 가스라이팅 토롤러와 같은 다양한 악성 사용자 패턴을 시뮬레이션하기 위해 실제 입력 데이터를 사용하고 인위적으로 악성 노이즈 패턴을 주입한, SafetyMix라는 합성 벤치마크를 개발한다.
• 다양한 상호작용을 통해 행동을 고려하는 사용자 수준 신뢰 모델링이 예시 수준 방법에 비해 강건성을 향상시키는지 평가한다.
• BlenderBot 3의 실제 구현 데이터를 활용해 발견된 결과가 합성 벤치마크를 넘어서 실용적 의미를 갖는지 검증한다.

제안 방법

• 실제 입력 데이터를 사용하지만, 다양한 토롤러 행동(예: 마스터 토롤러, 가스라이팅 토롤러)을 시뮬레이션하기 위해 인위적으로 악성 노이즈 패턴을 주입한 합성 벤치마크인 SafetyMix를 제안한다.
• 사용자 기반 탐지 방법 세 가지를 설계한다: 사용자 기반 제거, 사용자+예시 기반 제거, 그리고 소프트 사용자 기반 강건한 제거(Soft PURR). Soft PURR는 다수의 예시를 통해 사용자 행동을 종합적으로 평가한다.
• 표준 예시 기반 강건한 학습 기법(예: 예시 수준 제거, 강건한 손실 함수)과 비교하기 위해 이러한 사용자 기반 방법을 구현하고 비교한다.
• Soft PURR는 예측된 예측값을 기반으로 사용자 수준의 신뢰 점수를 할당하는, 미분 가능한 소프트 임계값 처리 방식을 사용하며, 이는 엔드 투 엔드 훈련을 가능하게 한다.
• BlenderBot 3 구현에서 확보한 실제 대화 데이터를 활용해 사용자 기반 방법의 성능을 생산 환경 유사 조건에서 검증한다.
• 현장에서의 모델 성능 및 토롤러 탐지 정확도를 검증하기 위해 커뮤니티 작업자(Crowdworkers)를 통한 인간 평가를 실시한다.

실험 결과

연구 질문

• RQ1 사용자 기반 학습 방법은 혼합된 인간 피드백 환경에서 예시 기반 방법에 비해 악성 피드백을 탐지하고 완화하는 데 얼마나 효과적인가?
• RQ2 기존의 강건한 학습 방법이 탐지하기 어려운 토롤러 행동 유형(예: 가스라이팅, 일관된 독성)은 무엇인가?
• RQ3 사용자 수준의 신뢰 모델링은 합성 및 실제 세계 데이터 모두에서 모델의 강건성과 학습 효율성을 얼마나 향상시키는가?
• RQ4 사용자 기반 방법은 대규모 대화형 에이전트를 포함한 실제 구현 환경으로 일반화 가능한가?
• RQ5 가스라이팅 토롤러와 같은 고급 악성 패턴에 직면했을 때 현재의 강건한 학습 알고리즘의 실패 유형은 무엇인가?

주요 결과

• 사용자 기반 학습 방법, 특히 Soft PURR는 SafetyMix 벤치마크에서 테스트된 모든 설정에서 예시 기반 방법에 비해 끊임없이 뛰어난 성능을 보였다.
• 사용자 기반 방법과 예시 기반 방법 간의 성능 격차는 특히 가스라이팅 토롤러와 같은 복잡한 토롤러 유형에서 높은 수준의 악성 노이즈가 존재할수록 커졌다.
• BlenderBot 3의 실제 구현 데이터에서 사용자 기반 방법은 인간 평가자(Crowdworker)의 검증을 통해 향상된 토롤러 탐지 정확도를 보였다.
• Soft PURR는 사용자 행동의 종합적 분석을 통해 뛰어난 강건성을 달성했으며, 이는 이상적인 사용자 기반 제거 성능에 가까워졌다.
• 예시 기반 방법은 다수의 상호작용에서 독성 행동을 보이는 지속적인 악성 사용자를 탐지하지 못했으며, 이는 사용자 수준 모델링의 필요성을 강조한다.
• SafetyMix 벤치마크는 특히 가스라이팅 및 레이블 뒤집기 공격 패턴 하에서 기존 방법의 한계를 폭 드러내어 향후 개선 여지를 시사했다.