[논문 리뷰] Learning From How Humans Correct

Tong Guo|arXiv (Cornell University)|2021. 01. 30.

Machine Learning and Data Classification인용 수 14

한 줄 요약

이 논문은 BERT 기반 텍스트 분류 모델에 인간의 수정 피드백을 통합하여 정확도를 햖스키는 새로운 학습 프레임워크를 제안한다. 모델 예측을 통해 노이즈 있는 레이블을 식별하고, 이를 수동으로 재라벨링한 후 기존 진정 레이블과 모델의 이전 예측을 입력으로 사용해 새로운 모델을 훈련함으로써, 테스트 정확도를 원래 노이즈 있는 데이터의 83.3%에서 91.7%로 향상시키고, 최종적으로 92.5%까지 상승시켰다. 이는 인간의 수정 과정을 학습함으로써 모델의 강건성이 향상됨을 보여준다.

ABSTRACT

In industry NLP application, our manually labeled data has a certain number of noisy data. We present a simple method to find the noisy data and relabel them manually, meanwhile we collect the correction information. Then we present novel method to incorporate the human correction information into deep learning model. Human know how to correct noisy data. So the correction information can be inject into deep learning model. We do the experiment on our own text classification dataset, which is manually labeled, because we need to relabel the noisy data in our dataset for our industry application. The experiment result shows that our learn-on-correction method improve the classification accuracy from 91.7% to 92.5% in test dataset. The 91.7% accuracy is trained on the corrected dataset, which improve the baseline from 83.3% to 91.7% in test dataset. The accuracy under human evaluation achieves more than 97%.

연구 동기 및 목표

• 산업에서 애너테이션한 NLP 데이터셋의 노이즈 있는 레이블 문제를 해결하여 모델 성능 저하를 방지하기 위해.
• 모델 예측을 신호로 사용해 노이즈 있는 데이터를 식별하고 재라벨링하는 실용적인 방법을 개발하기 위해.
• 기존 레이블과 예측 레이블을 모두 사용해 인간의 수정 행동을 딥러닝 모델에 통합하기 위해.
• 단순히 후행적으로 레이블을 수정하는 것이 아니라, 인간이 오류를 어떻게 수정하는지 모델링함으로써 텍스트 분류 정확도를 향상시키기 위해.
• 수동으로 라벨링된 데이터를 사용하는 다른 딥러닝 응용 분야에 일반화 가능한 프레임워크를 구축하기 위해.

제안 방법

• 메서드는 204만 개의 샘플로 구성된 수동 라벨링된 데이터셋에 대해 BERT 모델(Model-A)을 훈련함으로써 시작되며, 이는 200만 개의 훈련 샘플과 4만 개의 테스트 샘플로 분할된다.
• 노이즈 있는 데이터는 Model-A의 예측이 원래 인간 레이블과 다를 경우로 식별되며, 이로 인해 총 30만 개의 샘플(훈련 29.4만 개, 테스트 5.9천 개)이 노이즈 있는 것으로 확인된다.
• 이 30만 개의 샘플은 수동으로 재라벨링되어 인간이 검증한 레이블을 가진 보정된 데이터셋이 생성된다.
• Model-C는 보정된 레이블과 Model-A의 원-핫 인코딩된 예측 결과를 추가 입력 특성으로 사용해 훈련된다.
• Model-C의 입력 표현은 원본 텍스트, 보정된 레이블, 그리고 Model-A의 이전 예측을 포함하며, 이는 모델이 보정 패턴을 학습할 수 있도록 한다.
• 이 프레임워크는 실세계 구현을 고려해 설계되었으며, 추론 시 사전에 보정된 레이블에 의존하지 않고 오직 Model-A의 예측 결과만을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델에 인간의 수정 피드백을 통합하면 텍스트 분류 정확도가 향상되는가?
• RQ2 보정된 데이터에 표준 파인튜닝하는 것과 비교해 인간의 수정을 학습하는 방식은 어떤가?
• RQ3 기존 레이블과 예측 레이블을 모두 사용해 훈련하면 모델이 스스로 오류를 수정할 수 있는가?
• RQ4 예측된 레이블을 보조 입력으로 포함하면 노이즈 있는 데이터셋에서 일반화 성능이 향상되는가?
• RQ5 이 방법은 수동으로 라벨링된 데이터를 사용하는 다른 딥러닝 응용 분야로 일반화 가능한가?

주요 결과

• 제안된 방법은 노이즈 있는 데이터를 사용한 기준 모델의 테스트 정확도 83.3%에서 재라벨링 및 파인튜닝 후 91.7%로 향상시켰으며, 이는 보정의 가치를 입증한다.
• 보정 인식 프레임워크를 사용해 추가로 훈련한 Model-C는 동일한 테스트 세트에서 정확도를 92.5%까지 상승시켜, 보정 학습으로 인한 점진적 향상이 있음을 보여준다.
• 5억 개의 전체 데이터셋에서 5,000개 샘플을 대상으로 한 인간 평가 결과 정확도는 97.7%를 기록하여 높은 수준의 라벨링 품질과 모델 성능을 확인했다.
• Model-C가 이전 모델의 오류 기반으로 예측을 조정함으로써 인간의 보정 행동을 효과적으로 학습하고 있음을 확인했다.
• 추론 시 사전에 보정된 레이블이 필요 없이 오직 모델 예측 결과만을 사용함으로써 실업계 응용에 실용적인 방법임을 입증했다.
• 이 프레임워크는 레이블 노이즈 문제가 우려되는 다른 딥러닝 작업에 일반화 가능하며, 특히 수동으로 라벨링된 데이터를 사용하는 분야에 적용 가능하다.