[논문 리뷰] Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data

Maxime Darrin, Pablo Piantanida외 1명|arXiv (Cornell University)|2022. 12. 18.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 내부 모델 상태나 OOD 훈련 데이터에 접근할 필요 없이 분포 이탈을 탐지할 수 있는 블랙박스 OOD(Out-of-Distribution) 탐지 프레임워크인 RAINPROOF를 제안한다. 이는 소프트-확률 분포를 사용하여 분포 이탈을 탐지한다. 또한, 조건부 텍스트 생성에서의 현실적인 OOD 탐지 벤치마크인 LOFTER를 도입하고, 기존의 탐지기들이 잘 생성된 출력까지 거부함으로써 성능을 떨어뜨리는 반면, RAINPROOF는 유해한 OOD 샘플만 걸러내어 최종 작업 성능을 향상시킴을 입증한다.

ABSTRACT

Implementing effective control mechanisms to ensure the proper functioning and security of deployed NLP models, from translation to chatbots, is essential. A key ingredient to ensure safe system behaviour is Out-Of-Distribution (OOD) detection, which aims to detect whether an input sample is statistically far from the training distribution. Although OOD detection is a widely covered topic in classification tasks, most methods rely on hidden features output by the encoder. In this work, we focus on leveraging soft-probabilities in a black-box framework, i.e. we can access the soft-predictions but not the internal states of the model. Our contributions include: (i) RAINPROOF a Relative informAItioN Projection OOD detection framework; and (ii) a more operational evaluation setting for OOD detection. Surprisingly, we find that OOD detection is not necessarily aligned with task-specific measures. The OOD detector may filter out samples well processed by the model and keep samples that are not, leading to weaker performance. Our results show that RAINPROOF provides OOD detection methods more aligned with task-specific performance metrics than traditional OOD detectors.

연구 동기 및 목표

• 내부 모델 상태나 OOD 훈련 데이터에 접근할 필요 없이 실용적이고 블랙박스 방식의 텍스트 생성기용 OOD 탐지 방법을 개발하기 위해.
• 높은 어휘 공간을 가진 토큰 공간으로 인해 기존 분류 작업에서의 방법들이 잘 적응되지 않는 조건부 텍스트 생성 분야에서의 OOD 탐지 격차를 해결하기 위해.
• 기존의 표준 영어 GLUE 벤치마크를 넘어서 언어 이탈(예: 스페인어에서 카탈로니아어로)과 도메인 이탈(예: 의료에서 뉴스로)을 포함한 더 현실적인 평가 벤치마크를 만들기 위해.
• OOD 탐지가 최종 작업 성능과 일치하도록 하여, 실세계 구현에서 모델 신뢰도를 해치지 않고 향상시키기 위해.
• OOD 탐지가 탐지 성능 지표만 평가하는 것이 아니라 최종 작업 성능과 함께 평가되어야 한다는 것을 입증하기 위해.

제안 방법

• RAINPROOF는 상대적 정보 투영(RIP)을 사용하여 예측된 소프트 확률과 기준 분포 또는 균일 분포 간의 발산을 기반으로 노티너티 스코어를 계산한다.
• 기준 데이터가 없는 경우(s₀ 시나리오), 예측 분포의 네거엔트로피를 정상성의 척도로 사용한다.
• 기준 데이터가 있는 경우(s₁ 시나리오), 모델의 출력 분포를 데이터 기반 기준 집합과 비교하기 위해 정보 투영을 적용한다.
• 이 프레임워크는 완전히 비지도 학습이며, 소프트 확률 출력만을 사용하므로 API를 통해 어떤 사전 훈련된 언어 모델에도 구현 가능하다.
• 임계값 설정은 99%의 인-디스트리뷰션 샘플을 유지함으로써 위양성 비율을 통제함으로써 이루어지며, OOD 데이터에 의존하지 않는다.
• 스코어는 토큰 생성 간의 평균을 취해 시퀀스 수준의 불확실성을 유지함으로써 탐지에 중요한 요소를 보존한다.

실험 결과

연구 질문

• RQ1 내부 모델 표현에 접근할 수 없이 소프트 확률 출력만을 사용하여 텍스트 생성에서 OOD 탐지가 효과적으로 수행될 수 있는가?
• RQ2 최종 작업 성능을 향상시키는 OOD 탐지가 존재하는가, 아니면 기존 탐지기들이 잘 생성된 샘플까지 걸러내어 성능을 떨어뜨리는가?
• RQ3 언어 이탈(예: 네덜란드어에서 아프리카어로)과 도메인 이탈(예: 의료에서 뉴스로)이 텍스트 생성에서 OOD 탐지 성능에 어떤 영향을 미치는가?
• RQ4 탐지 성능과 최종 작업 성능을 함께 측정함으로써 OOD 탐지기의 운영적 가치를 더 잘 반영할 수 있는 통합 평가 프레임워크가 가능한가?
• RQ5 순수하게 OOD 탐지 AUC와는 별개로 작업 특화 지표와 일치하는 OOD 탐지 방법이 존재하는가?

주요 결과

• RAINPROOF는 MSP와 CQE와 같은 기존 OOD 탐지기보다 OOD 탐지 AUC와 최종 작업 BLEU 점수 모두에서 뛰어난 성능을 보이며, 특히 언어 이탈 시나리오에서 두각을 나타낸다.
• LOFTER 벤치마크에서 RAINPROOF는 s₀ 설정을 사용할 경우 언어 이탈 작업(예: 네덜란드어에서 아프리카어로)에서 평균 +5.4 BLEU 포인트의 BLEU 점수 향상을 보였다.
• 기존 탐지기인 MSP는 OOD 설정에서 BLEU 점수를 최대 -3.1 포인트까지 떨어뜨려 잘 생성된 샘플까지 걸러내는 것으로 나타났다.
• RAINPROOF에서 네거엔트로피와 정보 투영을 사용함으로써 기준 데이터가 없더라도 효과적인 탐지가 가능했으며, s₀ 시나리오에서도 강력한 성능을 달성했다.
• 연구 결과, 중요한 괴리점이 드러났다: 높은 AUC를 가진 OOD 탐지기일지라도 최종 작업 성능을 해칠 수 있으며, 이는 최종 작업 지표와 함께 평가하는 것이 필수적임을 시사한다.
• 99%의 인-디스트리뷰션 샘플을 유지하도록 설정한 임계값 설정 방법은 효과적이며 실용적이었으며, 校정 과정에서 OOD 데이터가 필요 없음을 입증했다.