[논문 리뷰] PnPOOD : Out-Of-Distribution Detection for Text Classification via Plug andPlay Data Augmentation

Mrinal Rawat, Ramya Hebbalaguppe외 1명|arXiv (Cornell University)|2021. 10. 31.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

PnPOOD는 Plug and Play Language Model(PPLM)를 사용하여 클래스 경계 근처에서 고품질의 OOD 샘플을 생성함으로써 텍스트 분류에서 분포 외(OOD) 탐지에 대한 플러그 앤 플레이 데이터 증강 방법을 제안한다. 이는 OOD 탐지 성능과 모델 캘리브레이션을 크게 향상시키며, 기존의 SST 및 20 Newsgroup 데이터셋 기준으로도 이전 방법들을 능가한다. 또한 기존 벤치마크에서의 데이터 泄漏 문제를 해결한다.

ABSTRACT

While Out-of-distribution (OOD) detection has been well explored in computer vision, there have been relatively few prior attempts in OOD detection for NLP classification. In this paper we argue that these prior attempts do not fully address the OOD problem and may suffer from data leakage and poor calibration of the resulting models. We present PnPOOD, a data augmentation technique to perform OOD detection via out-of-domain sample generation using the recently proposed Plug and Play Language Model (Dathathri et al., 2020). Our method generates high quality discriminative samples close to the class boundaries, resulting in accurate OOD detection at test time. We demonstrate that our model outperforms prior models on OOD sample detection, and exhibits lower calibration error on the 20 newsgroup text and Stanford Sentiment Treebank dataset (Lang, 1995; Socheret al., 2013). We further highlight an important data leakage issue with datasets used in prior attempts at OOD detection, and share results on a new dataset for OOD detection that does not suffer from the same problem.

연구 동기 및 목표

• 대화형 에이전트에서의 의도 분류에 특화된 강력한 OOD 탐지 방법의 부족을 해결하기 위해.
• 기존 OOD 탐지 접근법의 한계, 특히 낮은 모델 캘리브레이션과 훈련 및 테스트 OOD 분포 간 중첩으로 인한 데이터 泄漏 문제를 해결하기 위해.
• 고품질의 경계 인식 OOD 샘플을 생성하는 플러그 앤 플레이 기반 데이터 증강 방법을 개발하여 탐지 성능을 향상시키기 위해.
• 20 Newsgroup 데이터셋에서 유래된 데이터 泄漏가 없는 새로운 OOD 벤치마크 데이터셋을 도입하여 공정한 평가를 제공하기 위해.
• 최신 기술 대비 OOD 탐지 지표(AUROC, AUPR)에서 뛰어난 성능과 더 낮은 캘리브레이션 오차를 입증하기 위해.

제안 방법

• 내영역(ID) 텍스트 임베딩에 조건을 주어 Plug and Play Language Model(PPLM)을 활용해 분포 외(OOD) 샘플을 생성한다.
• 훈련 중에 엔트로피 정규화를 적용하여 OOD 샘플이 높은 엔트로피를 가지도록 유도함으로써 균일성에 가까워지게 하고, 분류 가능성을 향상시킨다.
• ID 분류기의 결정 경계 근처에 집중된 OOD 샘플을 생성함으로써 탐지 민감도를 향상시킨다.
• 최종 탐지 점수로 Maximum Softmax Probability(MSP)를 사용하며, ID 데이터와 PPLM로 생성된 OOD 데이터를 함께 사용해 모델을 피지터링한다.
• Gutenberg과 같은 일반적인 OOD 데이터셋 대신 20 Newsgroup 데이터셋에서 유래한 도메인 특화 OOD 데이터를 사용하여 데이터 泄漏 문제를 제거한다.
• 기본적으로 Dirichlet 캘리브레이션을 적용하여 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 추가로 감소시킨다.

실험 결과

연구 질문

• RQ1 PPLM 기반 데이터 증강이 ID 분류기의 결정 경계 근처에 위치한 고품질 OOD 샘플을 생성할 수 있는가?
• RQ2 기존 최신 기술 대비 표준 NLP 벤치마크에서 제안된 PnPOOD 방법이 OOD 탐지 성능을 향상시키는가?
• RQ3 기존 접근법 대비 PnPOOD가 모델의 캘리브레이션 오차를 얼마나 감소시키는가?
• RQ4 기존 OOD 탐지 벤치마크에서의 데이터 泄漏는 모델 평가에 어떤 영향을 미치며, 새로운 벤치마크로 이를 완화할 수 있는가?
• RQ5 이 방법은 다수의 도메인 조합에 대해 제로샷 OOD 탐지 설정에서 일반화 가능한가?

주요 결과

• SST-2 데이터셋에서 PnPOOD는 'Politics' 도메인의 OOD 샘플을 탐지할 때 AUROC 0.89, AUPR 0.51의 최신 기술 수준 성능을 달성한다.
• 20 Newsgroup 데이터셋에서 PnPOOD는 'Sports' 및 'Politics' 도메인의 OOD 샘플을 탐지할 때 AUROC 0.89, AUPR 0.51를 기록하며, MSP 및 MSP+ER 기준선을 능가한다.
• PnPOOD는 MSP 및 MSP+ER 기준선 대비 기대 캘리브레이션 오차(ECE)를 최대 30% 감소시켜 모델 캘리브레이션 향상이 확인된다.
• PnPOOD는 MSP+ER 대비 FPR@90TPR에서 뚜렷한 성능 향상을 보이며, 'Politics' 도메인에서 0.31의 값을 기록한다. 이는 MSP+ER의 0.33보다 우수하다.
• 저자들은 기존 OOD 벤치마크에서 심각한 데이터 泄漏 문제를 특정하고 이를 해결함으로써, 이전 결과가 OOD 및 ID 데이터의 중첩으로 과대평가되었을 수 있음을 입증한다.
• 후행 Dirichlet 캘리브레이션을 통해 ECE가 추가로 감소함을 확인하였으며, 이는 PnPOOD가 캘리브레이션 후에도 잘 캘리브레이팅된 모델을 생성함을 의미한다.