[논문 리뷰] Out-of-Distribution Detection and Selective Generation for Conditional Language Models

Jie Ren, Jiaming Luo외 5명|arXiv (Cornell University)|2022. 09. 30.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 조건부 언어 모델(CLMs)을 위한 경량이며 정확한 분포 외(OOD) 탐지 방법을 제안하며, 모델 임베딩을 사용하여 퍼즐리티 기반 접근법을 크게 능가한다. 이 방법은 OOD 입력에서 저품질 출력을 생성하지 않도록 선택적 생성을 가능하게 하여 요약 및 번역 작업에서 실세계 적용 시 안전성과 신뢰성을 향상시킨다.

ABSTRACT

Machine learning algorithms typically assume independent and identically distributed samples in training and at test time. Much work has shown that high-performing ML classifiers can degrade significantly and provide overly-confident, wrong classification predictions, particularly for out-of-distribution (OOD) inputs. Conditional language models (CLMs) are predominantly trained to classify the next token in an output sequence, and may suffer even worse degradation on OOD inputs as the prediction is done auto-regressively over many steps. Furthermore, the space of potential low-quality outputs is larger as arbitrary text can be generated and it is important to know when to trust the generated output. We present a highly accurate and lightweight OOD detection method for CLMs, and demonstrate its effectiveness on abstractive summarization and translation. We also show how our method can be used under the common and realistic setting of distribution shift for selective generation (analogous to selective prediction for classification) of high-quality outputs, while automatically abstaining from low-quality ones, enabling safer deployment of generative language models.

연구 동기 및 목표

• 조건부 언어 모델(CLMs)에서 분포 외(OOD) 입력에 대한 신뢰할 수 없는 모델 행동 문제를 해결하기 위해, 자동 회귀 생성이 오류를 증폭시키고 저품질 출력을 생성하는 문제를 다룬다.
• 별도의 모델이 필요 없이 CLM의 내부 표현(임베딩)만을 활용하여 경량이며 정확한 OOD 탐지 방법을 개발한다.
• 도메인 내 또는 근접 도메인 입력에서는 고품질 출력을 생성하면서 OOD 입력에서는 생성을 회피하는 선택적 생성을 가능하게 하여 실세계 응용에서의 안전성과 신뢰성을 향상시킨다.
• OOD 탐지 및 선택적 생성을 위한 강력한 평가 프레임워크를 구축하며, 요약 품질 평가에 인간 평가를 포함한다.

제안 방법

• CLM의 히든 스테이트에서 유도된 입력 및 출력 시퀀스 임베딩(입력 RMD 및 출력 RMD) 간의 코사인 유사도를 기반으로 한 새로운 OOD 스코어를 제안한다.
• 입력 및 출력 시퀀스의 L2 정규화된 표현의 평균을 분포 이탈의 대체 지표로 사용하여 RMD(대표값 거리) 스코어를 구성한다.
• 분포 이탈 상황에서 성능을 향상시키기 위해 RMD 스코어와 퍼즐리티를 조합한 하이브리드 탐지 전략을 도입한다.
• OOD 스코어가 학습된 임계값을 초과할 경우 모델이 생성을 회피하는 선택적 생성 메커니즘을 구현하며, 이는 분류 문제에서의 선택적 예측과 유사하다.
• 인간 평가 품질 평점이 포함된 개괄적 요약(XSum) 및 기계 번역(WMT) 데이터셋을 대상으로 방법을 훈련 및 평가한다.
• 도메인 내 데이터를 사용하여 OOD 임계값을 校정하여 기각 비율과 출력 품질 간의 균형을 확보함으로써 안전한 배포를 보장한다.

실험 결과

연구 질문

• RQ1 퍼즐리티는 조건부 언어 모델에서 분포 외 입력을 탐지하는 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 기존 기준 대비 모델 임베딩만을 사용하는 경량 OOD 탐지 방법의 효과는 어떠한가?
• RQ3 퍼즐리티와 임베딩 기반 OOD 스코어를 조합하면 분포 이탈 상황에서 탐지 성능이 향상되는가?
• RQ4 선택적 생성—즉, OOD 입력에서 생성을 회피하는 방식—은 실세계 환경에서 생성 출력의 품질을 어느 정도 향상시킬 수 있는가?
• RQ5 요약 작업에서 인간 평가 품질 평점은 자동 OOD 및 품질 스코어와 얼마나 잘 상관되는가?

주요 결과

• 퍼즐리티는 CLMs에서 OOD 입력 탐지에 신뢰할 수 없는 신호이며, 도메인 내 및 OOD 분포 간에 상당한 겹침이 있어 고율의 오진을 초래한다.
• 제안된 RMD 기반 OOD 스코어(입력 및 출력 임베딩 사용)는 요약 및 번역 작업 모두에서 퍼즐리티 및 기타 기준 대비 뚜렷이 뛰어난 OOD 예측 성능을 보였다.
• RMD 스코어와 퍼즐리티를 조합하면 분포 이탈 상황에서 선택적 생성 성능이 향상되어 더 높은 품질의 출력을 생성하면서 저품질 생성을 줄였다.
• 이 방법은 추가적인 계산 오버헤드 없이도 OOD 탐지에서 높은 정확도를 달성하며, 오직 CLM의 내부 표현만을 사용한다.
• 인간 평가 결과, 낮은 RMD 스코어와 고품질 요약 간 강한 상관관계가 확인되어, 이 방법이 신뢰할 수 있는 생성을 식별하는 데 성공했음을 검증했다.
• 선택적 생성 전략은 OOD 입력에서 사실 틀리거나 비논리적인 출력의 생성을 효과적으로 줄여 모델의 안전성과 신뢰성을 향상시켰다.