[논문 리뷰] A Re-ranker Scheme for Integrating Large Scale NLU models

Chengwei Su, Rahul Gupta외 2명|arXiv (Cornell University)|2018. 09. 25.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 대규모 NLU 시스템을 위한 모듈형이고 校정 가능한 재정렬기(re-ranker)를 제안하며, 최상위 가설 정확도와 점수 校정성( calibration)을 동시에 최적화하여 이방향 가설 정렬 성능을 향상시킨다. 이 방법은 도메인 별로 비동기적으로 훈련할 수 있도록 하면서도 각 도메인 간에 유사한 점수를 유지하여 기준 대비 3.7% 감소한 의미 오류율을 달성한다.

ABSTRACT

Large scale Natural Language Understanding (NLU) systems are typically trained on large quantities of data, requiring a fast and scalable training strategy. A typical design for NLU systems consists of domain-level NLU modules (domain classifier, intent classifier and named entity recognizer). Hypotheses (NLU interpretations consisting of various intent+slot combinations) from these domain specific modules are typically aggregated with another downstream component. The re-ranker integrates outputs from domain-level recognizers, returning a scored list of cross domain hypotheses. An ideal re-ranker will exhibit the following two properties: (a) it should prefer the most relevant hypothesis for the given input as the top hypothesis and, (b) the interpretation scores corresponding to each hypothesis produced by the re-ranker should be calibrated. Calibration allows the final NLU interpretation score to be comparable across domains. We propose a novel re-ranker strategy that addresses these aspects, while also maintaining domain specific modularity. We design optimization loss functions for such a modularized re-ranker and present results on decreasing the top hypothesis error rate as well as maintaining the model calibration. We also experiment with an extension involving training the domain specific re-rankers on datasets curated independently by each domain to allow further asynchronization. %The proposed re-ranker design showcases the following: (i) improved NLU performance over an unweighted aggregation strategy, (ii) cross-domain calibrated performance and, (iii) support for use cases involving training each re-ranker on datasets curated by each domain independently.

연구 동기 및 목표

• 대규모 NLU 시스템에서 도메인 별 모듈성을 유지하면서도 이방향 가설 정렬 성능을 향상시키는 재정렬기를 설계하는 것.
• 신뢰할 수 있는 비교 및 기각 임계치 설정을 위해 다양한 도메인 간에 교정된 출력 점수를 보장하는 것.
• 독립적으로 셋업된 데이터셋을 사용하여 도메인 별 재정렬기의 비동기적이고 병렬적인 훈련을 가능하게 하는 것.
• 사용자 정의 손실 함수를 사용하여 최상위 가설 정확도와 점수 교정성을 동시에 최적화하는 것.
• 각 도메인에 대해 비동기 훈련 데이터를 사용할 경우 재정렬기의 강인성(robustness)을 평가하는 것.

제안 방법

• 재정렬기는 도메인 별 NLU 구성요소(도메인 분류기, 의도 분류기, NER)에서 생성된 가설을 재점수화하는 데 신경망 모델을 사용한다.
• 상위 가설 정확도를 위한 랭킹 손실과 점수 신뢰성에 대한 교정 손실을 조합한 다중 작업 손실 함수를 적용한다.
• 모델은 도메인 별 데이터로 훈련되어 각 도메인 별로 독립적이고 비동기적으로 훈련될 수 있다.
• 예측 점수가 실제 정확도 비율을 반영하도록 보장하기 위해 신뢰성 곡선 목표 함수를 통해 교정을 강제한다.
• 모든 도메인 간 일관된 점수 분포를 유지함으로써 도메인 별 기각 임계치를 지원한다.
• 공통된 데이터와 독립적으로 샘플링된 데이터를 사용한 실험을 통해 성능을 평가하는 아블레이션(study)을 실시한다.

실험 결과

연구 질문

• RQ1 모듈형 재정렬기는 도메인 별 모듈성을 유지하면서도 NLU 정확도를 향상시킬 수 있는가?
• RQ2 교정 손실을 포함함으로써 다양한 도메인 간에 더 나은 점수 신뢰성이 달성되는가?
• RQ3 성능 저하 없이 독립적으로 셋업된 데이터셋을 사용하여 도메인 별 재정렬기를 훈련할 수 있는가?
• RQ4 비동기 훈련 조건 하에서 재정렬기는 어떤 성능을 보이는가?
• RQ5 교정이 하류 의사결정, 예를 들어 가설 기각과 같은 과정에서 얼마나 향상되는가?

주요 결과

• 기준 대비 3.7% 감소한 의미 오류율(SemER)을 기록하여 최종 SemER는 6.8%에 도달했다.
• R3 모델의 이방향 교정 곡선은 거의 대각선에 가까워 모든 도메인에서 잘 교정된 점수를 나타낸다.
• 도메인 별 교정 곡선은 특히 과신이 높았던 저점수 밴드에서 신뢰성 향상이 뚜렷하게 관찰된다.
• 각 도메인의 재정렬기가 훈련 데이터의 서로 다른 90% 부분집합으로 훈련되더라도 성능 저하가 0.05% 이내로 유지된다.
• 교정된 재정렬기는 기각 임계치의 안전한 적용을 가능하게 하여 과신으로 인한 잘못된 기각을 줄인다.
• 성능 손실 없이 비동기 훈련을 지원함으로써 도메인 간 더 빠른 모델 업데이트가 가능해진다.