[논문 리뷰] Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education

Debajyoti Datta, Maria Phillips외 5명|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 33인용 수 8

한 줄 요약

이 논문은 교사 교육 분야의 맥락 특화 대화형 에이전트 개발 시 레이블링 노력을 줄이기 위해 다중 작업 약한 감독 및 능동 학습 프레임워크를 제안한다. 전문가 애너테이터를 활용하여 확률적 레이블링 함수를 도입하고 반복적으로 불확실한 예제를 선별해 정밀화함으로써, 16명의 애너테이터가 오직 1,300개의 예제만 레이블링해도 95%의 정확도를 달성한다. 이는 다수결 투표를 능가하며, 시간과 애너테이션 비용을 크게 줄이고 교육 분야의 NLP 작업에서 분류 성능을 향상시킨다.

ABSTRACT

Machine learning techniques applied to the Natural Language Processing (NLP) component of conversational agent development show promising results for improved accuracy and quality of feedback that a conversational agent can provide. The effort required to develop an educational scenario specific conversational agent is time consuming as it requires domain experts to label and annotate noisy data sources such as classroom videos. Previous approaches to modeling annotations have relied on labeling thousands of examples and calculating inter-annotator agreement and majority votes in order to model the necessary scenarios. This method, while proven successful, ignores individual annotator strengths in labeling a data point and under-utilizes examples that do not have a majority vote for labeling. We propose using a multi-task weak supervision method combined with active learning to address these concerns. This approach requires less labeling than traditional methods and shows significant improvements in precision, efficiency, and time-requirements than the majority vote method (Ratner 2019). We demonstrate the validity of this method on the Google Jigsaw data set and then propose a scenario to apply this method using the Instructional Quality Assessment(IQA) to define the categories for labeling. We propose using probabilistic modeling of annotator labeling to generate active learning examples to further label the data. Active learning is able to iteratively improve the training performance and accuracy of the original classification model. This approach combines state-of-the art labeling techniques of weak supervision and active learning to optimize results in the educational domain and could be further used to lessen the data requirements for expanded scenarios within the education domain through transfer learning.

연구 동기 및 목표

• 교사 교육 분야의 대규모 교육용 대화형 에이전트 데이터 레이블링에 소요되는 시간과 비용을 줄이기 위해.
• 각 애너테이터의 강점을 모델링하고 충돌 나는 레이블을 처리함으로써 다수결 투표를 뛰어넘는 분류 정확도 향상을 위해.
• 불확실하거나 모호한 예제를 우선적으로 레이블링하기 위해 능동 학습을 활용해 전문가의 레이블링 노력 최소화를 위해.
• 약한 감독과 능동 학습을 활용해 확장 가능하고 이식 가능하며 효율적인 맥락 특화 대화형 에이전트 개발을 가능하게 하기 위해.
• 수학 교육 분야의 IQA 기반 레이블링 작업에서 이 프레임워크를 검증하여 효율성과 정확도 향상을 입증하기 위해.

제안 방법

• 전문가 지식과 히우리스틱에서 유도된 레이블링 함수를 활용한 다중 작업 약한 감독을 적용하여 노이즈가 있지만 확장 가능한 훈련 데이터를 생성하였다.
• 애너테이터 행동의 확률적 모델링을 통해 레이블 신뢰도를 추정하고 충돌을 해결함으로써 반복 라운드 동안 레이블 품질을 향상시켰다.
• 애너테이터 간의 이견이 있는 예제를 식별하고 우선순위를 정하기 위해 충돌 기반 전략을 적용한 능동 학습을 시행하였다.
• 약한 감독 데이터 기반으로 BERT 기반 분류 모델을 훈련하고, 능동적으로 선택된 예제를 통해 미세조정하여 성능을 향상시켰다.
• 모델 정확도에 대한 애너테이터 수와 예제 수의 영향을 평가하기 위해 Google Jigsaw 데이터셋에서 분석 실험을 수행하였다.
• 사전 훈련된 모델을 재사용함으로써 새로운 교육 시나리오에 필요한 데이터 요구량을 줄이기 위해 전이 학습을 통합하였다.

실험 결과

연구 질문

• RQ1 약한 감독과 능동 학습은 교육용 대화형 에이전트를 위한 정확한 분류 모델을 훈련하기 위해 필요한 레이블링 예제 수를 줄일 수 있는가?
• RQ2 모델 정확도에 영향을 주는 데서 애너테이터 수와 레이블링 예제 수의 비교는 어떠한가?
• RQ3 충돌 기반 능동 학습은 다수결 투표에 비해 모호하거나 낮은 신뢰도를 가진 예제에서 성능을 향상시킬 수 있는가?
• RQ4 레이블링 함수와 확률적 모델링이 상호 애너테이터 간 일致도와 레이블 품질을 얼마나 향상시킬 수 있는가?
• RQ5 이 프레임워크는 최소한의 재구성으로 다른 교육 훈련 시나리오에 일반화 및 적용 가능할 수 있는가?

주요 결과

• 16명의 애너테이터가 오직 1,300개의 예제만 레이블링해도 모델이 95%의 정확도를 달성하였으며, 이는 8명의 애너테이터가 13,000개의 예제를 레이블링한 경우보다 뛰어난 성능을 보였다.
• 상호 애너테이터 간 일致도는 첫 번째 라운드에서 49.4(Cohen’s Kappa)에서 두 번째 라운드에선 79.4로 향상되어 반복적 레이블링의 효과를 입증하였다.
• 능동 학습 전략은 충돌 예제에서 62.85%의 정확도를 달성하여 모호한 케이스를 효과적으로 해결하는 데 기여하였다.
• 레이블링 함수(LFs)는 높은 정확도를 보였으며, LF3는 테스트 세트에서 82.0%의 정확도를 기록하여 약한 감독에서의 유용성을 입증하였다.
• 클래스 수준의 정확도는 69.5%(Probing or Exploring)에서 81.5%(Procedural)까지 다양했으며, 범주 간 강력한 성능을 보였다.
• 고불확실성 예제를 우선적으로 선별함으로써 전문가의 레이블링 시간을 줄여 레이블링 과정을 더욱 효율적이고 비용 효율적으로 만들었다.