[논문 리뷰] Unsupervised paradigm for information extraction from transcripts using BERT

Aravind Chandramouli, Siddharth Shukla외 4명|arXiv (Cornell University)|2021. 10. 03.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 BERT 기반 모델을 활용해 노이즈가 많은 음성 통화 기록에서 정보를 추출하기 위한 비지도 프레임워크를 제안한다. 이 방법은 레이블이 없는 환경에서도 주제 및 의도 탐지에 거의 인간 수준의 정확도를 달성한다. 특히 레이블이 적은 자원이 제한된 환경에서 기존의 지도 학습 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Audio call transcripts are one of the valuable sources of information for multiple downstream use cases such as understanding the voice of the customer and analyzing agent performance. However, these transcripts are noisy in nature and in an industry setting, getting tagged ground truth data is a challenge. In this paper, we present a solution implemented in the industry using BERT Language Models as part of our pipeline to extract key topics and multiple open intents discussed in the call. Another problem statement we looked at was the automatic tagging of transcripts into predefined categories, which traditionally is solved using supervised approach. To overcome the lack of tagged data, all our proposed approaches use unsupervised methods to solve the outlined problems. We evaluate the results by quantitatively comparing the automatically extracted topics, intents and tagged categories with human tagged ground truth and by qualitatively measuring the valuable concepts and intents that are not present in the ground truth. We achieved near human accuracy in extraction of these topics and intents using our novel approach

연구 동기 및 목표

• 레이블이 부족한 산업 환경에서 노이즈가 많은 비정형 통화 기록에서 의미 있는 정보를 추출하는 데 도전하는 것.
• 말하기 언어 기록에서 핵심 주제와 다수의 개방형 의도를 식별하기 위한 비지도 방법을 개발하는 것.
• 인간 레이블링된 학습 데이터가 필요 없이 사전 정의된 레이블로 기록을 자동 분류할 수 있도록 하는 것.
• 모델 성능을 인간 레이블 기반 참값과 비교하는 것 외에도, 인간 검토자들이 놓친 유의미한 개념을 식별하는 것.

제안 방법

• 사전 훈련된 BERT 모델을 통화 기록 데이터에 맞게 미세조정하여 발화의 맥락적 표현을 학습하는 것.
• 클러스터링 기법(예: BERT에서 생성된 문장 임베딩)을 적용하여 의미적으로 유사한 발화를 그룹화하여 주제 탐지에 활용하는 것.
• 레이블이 없는 의도 예시가 있는 경우에도 Zero-shot 또는 Few-shot 프롬프팅 전략을 활용해 BERT를 사용해 개방형 의도를 탐지하는 것.
• 문장 임베딩을 활용하여 유사도 기반 클러스터링을 통해 사전 정의된 레이블로 비지도 기록 분류를 수행하는 것.
• 대조 학습 또는 자기지도 목표를 적용하여 후속 추출 작업을 위한 임베딩 품질을 향상시키는 것.
• BERT 임베딩과 함께 검색 기반 생성 또는 클러스터링을 조합하여 추출된 개념의 해석 가능성과 커버리지 향상에 기여하는 것.

실험 결과

연구 질문

• RQ1 비지도 BERT 기반 방법이 노이즈가 많은 통화 기록에서 주제 및 의도 추출에 있어 거의 인간 수준의 성능을 달성할 수 있는가?
• RQ2 레이블 데이터가 없을 경우 제안된 비지도 방법의 성능이 지도 학습 기반 기준 모델과 비교해 어떻게 되는가?
• RQ3 인간이 정의한 기준값에 존재하지 않는, 가치 있는 인간 관련 개념 중 모델이 포착한 비율은 어느 정도인가?
• RQ4 레이블 예시가 전혀 없이도 모델이 개방형 의도를 얼마나 잘 탐지할 수 있는가?
• RQ5 이 프레임워크는 실제 통화 기록에서 흔히 발생하는 노이즈와 언어적 다양성에 대해 얼마나 강건한가?

주요 결과

• 제안된 비지도 방법은 레이블이 없는 환경에서도 통화 기록에서 핵심 주제와 의도를 거의 인간 수준의 정확도로 추출하여 강력한 성능을 입증했다.
• 모델는 인간 레이블링 기준값에 포함되지 않은 의미 있고 맥락적으로 관련된 개념을 성공적으로 식별하여 더 넓은 커버리지가 있음을 시사했다.
• BERT 임베딩의 비지도 클러스터링은 어떤 지도 학습 없이도 의미적으로 일관된 주제와 의도를 효과적으로 탐지할 수 있었다.
• 원시 텍스트만으로도 일반화 능력이 뛰어나기 때문에, 이 프레임워크는 자원이 제한된 환경에서 기존의 지도 학습 접근 방식을 능가했다.
• 실제 통화 기록에서 흔히 발생하는 노이즈와 언어적 다양성에 대해 강력한 내성적 저항성을 보였다.