[논문 리뷰] Query Understanding for Natural Language Enterprise Search

Francisco Borges, Georgios Balikas외 6명|arXiv (Cornell University)|2020. 12. 11.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

이 논문은 개인정보 보호가 엄격한 주요 CRM 플랫폼을 대상으로 한 실사용자용 자연어 검색(NLS) 시스템을 제안한다. 이 시스템은 딥러닝 기반 명명된 실체 인식(NER)과 규칙 기반 전문가 시스템, 문법 기반 쿼리 제안 엔진을 융합한 하이브리드 아키텍처를 채택하여 사용자 작업 부담을 크게 감소시킨다. 사용자 연구 결과, NLS는 탐색 기반 검색 대비 50퍼센트 이상의 시간 절감을 이끌어내며, 자연어 쿼리를 통해 동적으로 레코드를 검색할 수 있도록 한다. 주요 기여는 기업 환경의 제약 조건을 고려한 합성 학습 데이터 생성 기법과 모델 라이프사이클 관리의 체계적 접근이다.

ABSTRACT

Natural Language Search (NLS) extends the capabilities of search engines that perform keyword search allowing users to issue queries in a more "natural" language. The engine tries to understand the meaning of the queries and to map the query words to the symbols it supports like Persons, Organizations, Time Expressions etc.. It, then, retrieves the information that satisfies the user's need in different forms like an answer, a record or a list of records. We present an NLS system we implemented as part of the Search service of a major CRM platform. The system is currently in production serving thousands of customers. Our user studies showed that creating dynamic reports with NLS saved more than 50% of our user's time compared to achieving the same result with navigational search. We describe the architecture of the system, the particularities of the CRM domain as well as how they have influenced our design decisions. Among several submodules of the system we detail the role of a Deep Learning Named Entity Recognizer. The paper concludes with discussion over the lessons learned while developing this product.

연구 동기 및 목표

• 복잡하고 개인정보 보호가 엄격한 CRM 환경 내에서 확장 가능하고, 실사용자 수준의 자연어 검색(NLS) 시스템을 설계하고 구현하는 것.
• 고도로 맞춤화되고 개인정보 보호 제약이 있는 엔터프라이즈 환경에서, 도메인 특화된 NER를 위한 제한된 데이터를 보완하는 방법을 모색하는 것.
• 사용자 효율성을 향상시키기 위해 자연어 쿼리를 통해 동적으로 레코드를 검색할 수 있도록 하여, 탐색 또는 보고서 기반 워크플로우에 대한 의존도를 줄이는 것.
• 다양한 고객 환경에서의 일반화 능력과 신뢰성을 확보하기 위해 딥러닝과 규칙 기반 시스템을 융합한 강력한 하이브리드 아키텍처를 개발하는 것.
• 지속적인 개선이 요구되는 실세계 NLP 시스템에서 모델 라이프사이클 관리, 평가 및 모니터링의 최적 실천 방법론을 수립하는 것.

제안 방법

• 딥러닝 기반 NER와 규칙 기반 전문가 시스템을 융합한 일반화 능력을 갖춘 병렬 태깅 파이프라인과, 예측 가능한 쿼리 제안 실행을 위한 문맥 자유 문법(Query Suggestions Grammar)을 사용한 두 번째 파이프라인을 포함한 하이브리드 아키텍처를 도입.
• 실제 기업 쿼리 애너테이션 데이터의 부족을 보완하기 위해 확률적 문맥 자유 문법(PCFG)을 활용한 합성 실질적 학습 데이터 생성.
• CRM 전용 쿼리 패턴에 특화된 도메인 특정 단어 임베딩을 학습하여 일반 사전 학습된 임베딩을 초월한 실체 인식 성능 향상.
• 버전화된 모델 게이팅, 메타데이터 기반 알고리즘, A/B 테스트를 포함한 다단계 품질 보증 파이프라인을 구현하여 생산 환경의 안정성과 측정 가능한 성능 향상을 확보.
• 간단하고 높은 커버리지가 필요한 작업(예: 피cklist 값, 불린 필터)에 대해 전문가 시스템을 통합하여 모델의 신뢰성 향상과 딥러닝 모델의 부담 감소.
• 온라인 모니터링 및 인스트루멘테이션을 통해 시스템 동작 및 장애를 추적하고, 반복적인 개선 및 모델 업데이트를 이끌어내는 데 활용.

실험 결과

연구 질문

• RQ1 제한적이고 변동성이 큰 학습 데이터를 가진 엔터프라이즈 CRM 환경에서 딥러닝 기반 NER 모델을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 다중 테넌트이자 개인정보 보호 제약이 있는 환경에서, 딥러닝의 유연성과 규칙 기반 시스템의 신뢰성을 균형 있게 확보할 수 있는 아키텍처 패턴은 무엇인가?
• RQ3 실제 애너테이션 데이터가 부족한 상황에서 PCFG 기반 합성 데이터가 NER 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 지속적인 사용자 요구 변화에 대응하는 실사용자 NLP 시스템에서, 모델 라이프사이클 관리 및 평가 파이프라인을 어떻게 설계할 수 있는가?
• RQ5 신경망과 상징적 요소를 융합한 하이브리드 시스템은 어떻게 강력하고 확장 가능한 엔터프라이즈 검색을 달성하는 데 기여하는가?

주요 결과

• 동적 보고서 생성 시 기존의 탐색 기반 검색 대비 NLS 시스템이 사용자 작업 시간을 50퍼센트 이상 절감하여 워크플로우 가속화를 입증했다.
• PCFG 기반 합성 데이터 생성이 실제 기업 쿼리와 유사하고 의미적으로 타당한 학습 데이터를 생성하여, 실제 애너테이션 데이터가 부족한 상황에서도 모델의 일반화 능력을 효과적으로 향상시켰다.
• 딥러닝 기반 NER와 규칙 기반 전문가 시스템, 문법 기반 쿼리 제안 엔진을 융합한 하이브리드 아키텍처는 순수 신경망 또는 순수 상징적 접근보다 더 뛰어난 신뢰성과 커버리지 수준을 확보했다.
• 특히 고도로 맞춤화된 고객 환경에서, 피크리스트 값이나 불린 필터 인식과 같은 단순하고 정형화된 작업에 대해 전문가 시스템이 딥러닝 모델보다 더 높은 신뢰성을 보였다.
• 모델 버전 관리, 메타데이터 기반 파이프라인, A/B 테스트는 사용자 요구 변화에 따라 지속적인 개선이 요구되는 실사용자 환경에서 품질 유지 및 반복적 개선을 가능하게 했다.
• 시스템은 순수 딥러닝 기반 NER 모델에서 시작하여 하이브리드 시스템으로 진화함으로써, 실제 기업 환경에서의 적응성과 신뢰성 요구사항을 충족하기 위한 필요성을 반영했다.