[논문 리뷰] $k$Folden: $k$-Fold Ensemble for Out-Of-Distribution Detection

Xiaoya Li, Jiwei Li외 6명|arXiv (Cornell University)|2021. 08. 29.

Topic Modeling참고 문헌 49인용 수 5

한 줄 요약

이 논문은 외부 데이터 없이 훈련 중에 OOD 감지 행동을 시뮬레이션하는 NLP 분야의 k-겹 앙상블 프레임워크인 $k$ Folden을 제안한다. k개의 서브모델을 훈련시켜 각각 k개의 레이블 중 하나를 마스킹하고, 미리보기 없는 레이블에 대해 균일 분포로의 KL 발산을 최적화함으로써, 확률 평균화를 통한 자연스러운 OOD 감지를 가능하게 하여 벤치마크 데이터셋에서 최고 성능을 달성하면서도 내부 도메인 정확도를 유지한다.

ABSTRACT

Out-of-Distribution (OOD) detection is an important problem in natural language processing (NLP). In this work, we propose a simple yet effective framework $k$Folden, which mimics the behaviors of OOD detection during training without the use of any external data. For a task with $k$ training labels, $k$Folden induces $k$ sub-models, each of which is trained on a subset with $k-1$ categories with the left category masked unknown to the sub-model. Exposing an unknown label to the sub-model during training, the model is encouraged to learn to equally attribute the probability to the seen $k-1$ labels for the unknown label, enabling this framework to simultaneously resolve in- and out-distribution examples in a natural way via OOD simulations. Taking text classification as an archetype, we develop benchmarks for OOD detection using existing text classification datasets. By conducting comprehensive comparisons and analyses on the developed benchmarks, we demonstrate the superiority of $k$Folden against current methods in terms of improving OOD detection performances while maintaining improved in-domain classification accuracy. The code and datasets can be found at: \url{https://github.com/ShannonAI/kfolden-ood-detection}.

연구 동기 및 목표

• 외부 데이터에 의존하지 않는 NLP 분야의 OOD 감지 방법을 개발하는 것.
• 모델 훈련 중에 OOD 감지 행동을 시뮬레이션하여 텍스트 분류에서 OOD 감지 과제를 해결하는 것.
• 정의된 의미적 및 비의미적 이탈을 포함한 널리 사용되는 텍스트 분류 데이터셋을 활용해 OOD 감지에 대한 종합적인 벤치마크를 구축하는 것.
• $k$ Folden의 효과성을 기존 OOD 감지 방법과 비교하여 평가하고, OOD 감지 및 내부 도메인 분류 성능 모두에서의 우월성을 입증하는 것.

제안 방법

• 프레임워크는 k개의 서브모델을 훈련시키며, 각 서브모델은 k-1개의 내부 도메인 레이블을 사용하고, 하나의 레이블만 마스킹하여 '알 수 없음'으로 간주한다.
• 각 서브모델은 이중 손실을 사용하여 훈련된다: k-1개의 가시 레이블에 대한 교차 엔트로피 손실과 마스킹된(알 수 없는) 레이블에 대한 균일 분포로의 KL 발산 손실.
• 추론 단계에서 최종 예측은 모든 k개의 서브모델에서의 확률 분포를 평균화하여 도출된다.
• KL 발산 손실은 알 수 없는 입력을 만났을 때 서브모델이 모든 레이블에 대해 확률을 균일하게 분포시키도록 유도하여, OOD 감지를 시뮬레이션한다.
• 이 방법은 다양한 백본 모델(예: CNN, LSTM, BERT, RoBERTa)과 호환되며, Mahalanobis 또는 온도 스케일링과 같은 후처리 기법과도 조합할 수 있다.
• 이 프레임워크는 OOD 입력에 대해 근접한 균일 분포의 출력을 생성함으로써 자연스럽게 OOD 입력을 식별하며, 내부 도메인 입력은 확률이 하나의 클래스에 집중된다.

실험 결과

연구 질문

• RQ1 외부 데이터나 사전 수집된 OOD 예제 없이 NLP에서 효과적인 OOD 감지를 수행할 수 있는가?
• RQ2 훈련 중에 OOD 감지 행동을 시뮬레이션함으로써 모델의 일반화 능력과 감지 성능가 향상되는가?
• RQ3 $k$ Folden 프레임워크는 OOD 감지 능력을 향상시키는 동시에 내부 도메인 분류 정확도를 유지하거나 향상시키는가?
• RQ4 실제 텍스트 분류 벤치마크에서 의미적 이탈(SS)과 비의미적 이탈(NSS) 유형의 OOD 이질성에 대해 프레임워크는 어떻게 성능을 발휘하는가?
• RQ5 $k$ Folden은 기존의 후처리 OOD 감지 기법과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• $k$ Folden은 OOD 감지 벤치마크에서 최고 성능을 기록하며, ODIN, Mahalanobis, 드롭아웃 기반 방법과 같은 강력한 베이스라인을 압도한다.
• Reuters-2K-8L OOD 테스트 세트에서 $k$ Folden RoBERTa 모델은 Mahalanobis와 조합했을 때 AUPR가 97.91로, RoBERTa 단독 사용 시 AUPR 97.35보다 높고 오류율은 56.06%로 RoBERTa의 58.14%보다 낮아진다.
• $k$ Folden과 Mahalanobis의 조합은 모든 데이터셋에서 일관되게 최고 성능을 기록하여, 상호 보완성이 뛰어나다는 것을 보여준다.
• 알 수 없는 카테고리의 수가 증가할수록 오류율이 증가하지만, $k$ Folden는 모든 설정에서 가장 낮은 오류율을 유지하여 고 OOD 카테고리 비율에 대한 강건성을 보여준다.
• 의미적 이탈(SS) 데이터셋에서는 비의미적 이탈(NSS) 데이터셋보다 성능 향상이 더 두드러지며, 분포 이질성 하에서 더 우수한 일반화 능력을 보임을 시사한다.
• 이 프레임워크는 OOD 감지 성능뿐 아니라 내부 도메인 분류 정확도도 향상시키며, 훈련 중 OOD 시뮬레이션을 통해 모델의 전반적인 신뢰성이 향상됨을 입증한다.