[논문 리뷰] Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation

Guerreiro, Nuno M., Elena Voita외 1명|arXiv (Cornell University)|2022. 08. 10.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 데이터 편향 없이 자연스럽고 도메인 내 설정에서 신경 기계 번역(NMT)에서의 환각 현상에 대한 엄밀한 연구를 제안한다. 3,415건의 주석이 달린 환각 현상 데이터셋을 도입하고, 시퀀스 로그확률 및 불확실성 기반 검출기와 같은 검출 방법을 평가하며, 로그확률이 전문화된 히우리스틱과 품질 평가보다 뛰어나다는 것을 발견한다. 저자들은 또한 MC-dropout 재정렬을 통해 환각 빈도를 3배 감소시키는 테스트 시점 방법인 DeHallucinator를 제안한다. 이로 인해 검출 재현율이 33%에서 85%로 향상된다.

ABSTRACT

Although the problem of hallucinations in neural machine translation (NMT) has received some attention, research on this highly pathological phenomenon lacks solid ground. Previous work has been limited in several ways: it often resorts to artificial settings where the problem is amplified, it disregards some (common) types of hallucinations, and it does not validate adequacy of detection heuristics. In this paper, we set foundations for the study of NMT hallucinations. First, we work in a natural setting, i.e., in-domain data without artificial noise neither in training nor in inference. Next, we annotate a dataset of over 3.4k sentences indicating different kinds of critical errors and hallucinations. Then, we turn to detection methods and both revisit methods used previously and propose using glass-box uncertainty-based detectors. Overall, we show that for preventive settings, (i) previously used methods are largely inadequate, (ii) sequence log-probability works best and performs on par with reference-based methods. Finally, we propose DeHallucinator, a simple method for alleviating hallucinations at test time that significantly reduces the hallucinatory rate. To ease future research, we release our annotated dataset for WMT18 German-English data, along with the model, training data, and code.

연구 동기 및 목표

• 인위적으로 강조된 설정을 넘어서, NMT에서 환각 현상을 연구하기 위한 견고한 기반을 마련하기 위해.
• 실제 도메인 내 NMT 출력에서 인간 주석 데이터를 사용해 다양한 환각 유형을 식별하고 분류하기 위해.
• 자연스러운 추론 환경에서 히우리스틱과 품질 평가를 포함한 기존 환각 검출 방법을 엄격히 평가하기 위해.
• MC-dropout 가설 재정렬을 통해 환각을 줄이는 경량의 테스트 시점 방법인 DeHallucinator를 제안하고 검증하기 위해.
• 향후 연구를 지원하기 위해 공개된 데이터셋, 모델, 코드를 제공하기 위해.

제안 방법

• 고성능 NMT 시스템에서 유래한 3,415개 문장을 환각 유형(진동형, 강하게 분리된, 완전히 분리된 등)에 대해 구조화된 레이블로 주석 처리한다.
• 인간 주석 번역을 사용하여 원천 콘텐츠에서의 분리 정도에 기반해 환각 유형을 정의하고 검증한다.
• 주의 기반 히우리스틱, 품질 평가(COMET 및 COMET-QE), 시퀀스 로그확률 등을 포함한 여러 환각 검출 방법을 평가한다.
• MC-dropout를 통해 재생성된 가설을 재정렬하는 경량 검출기와 함께 작동하는 테스트 시점 보정 파이프라인인 DeHallucinator를 제안한다.
• MC-dropout를 사용해 다수의 가설을 생성하고, 시퀀스 로그확률을 사용해 점수를 매겨 가장 높은 점수를 받은 후보를 선택함으로써 신뢰도를 향상시킨다.
• 재현 가능성을 보장하고 향후 연구를 지원하기 위해 주석이 달린 데이터셋, 훈련된 모델, 코드를 공개한다.

실험 결과

연구 질문

• RQ1 인위적으로 강조된 설정이 아닌 자연스럽고 훼손되지 않은 NMT 환경에서, 다양한 환각 검출 방법의 성능은 어떻게 되는가?
• RQ2 시퀀스 로그확률은 외부 참조가 필요 없이 신뢰할 수 있는 참조 없는 환각 검출기로 기능할 수 있는가? 그리고 COMET와 같은 기반 참조 방법과 비교해 봤을 때 어떻게 되는가?
• RQ3 COMET 및 COMET-QE와 같은 품질 평가 시스템은 환각과 다른 번역 오류를 효과적으로 구분할 수 있는가?
• RQ4 MC-dropout를 통한 테스트 시점 보정 및 재정렬이 환각 빈도를 크게 줄일 수 있는가? 동시에 올바른 번역은 유지되는가?
• RQ5 어떤 유형의 환각이 보정에 가장 적합한가? 그리고 이는 모델의 행동 방식에 대해 무엇을 드러내는가?

주요 결과

• 시퀀스 로그확률은 외부 참조가 필요 없고 생성 과정의 부산물일 뿐이지만, 기반 참조 방법인 COMET와 동등한 성능을 보이며 환각을 탐지한다.
• 이전의 검출 방법, 즉 주의 기반 히우리스틱과 품질 평가 시스템은 자연스러운 환경에서 환각을 식별하는 데 대부분 부적합하다.
• COMET-QE, COMET의 참조 없는 변형은 환각 심각도를 제대로 처벌하지 못해, 품질 평가는 환각 검출의 신뢰할 수 있는 대체 수단이 되지 못한다는 것을 시사한다.
• DeHallucinator를 적용함으로써, 경고된 후보 중 올바른 번역 비율이 33%에서 85%로 상승하여 검출 신뢰도가 크게 향상된다.
• DeHallucinator 적용 후 환각 빈도가 3배 감소하여, 테스트 시점 보정에서의 효과성을 입증한다.
• 대부분의 환각은 정확한 번역으로 대체되며, 이는 환각이 깊은 모델 결함기인 것이 아니라 확률적 생성 과정에서 기인한다는 것을 시사한다. 유일하게 예외는 훈련 데이터의 중복과 관련된 완전히 분리된 케이스이다.