[논문 리뷰] Counterfactual Learning from Human Proofreading Feedback for Semantic Parsing

Carolin Lawrence, Stefan Riezler|arXiv (Cornell University)|2018. 11. 29.

Topic Modeling참고 문헌 22인용 수 7

한 줄 요약

이 논문은 인간의 검토 피드백을 활용하여 모델이 생성한 분석 결과를 인간이 이해할 수 있는 문장으로 변환함으로써 오류를 표시할 수 있도록 하는 반사적 학습 프레임워크를 제안한다. 비전문가가 제공한 토큰 수준의 피드백을 활용하고, 새로운 재가중 목표 함수를 도입함으로써 오직 995개의 피드백 예제만으로도 지도 학습 기반 모델 대비 7.45점의 F1 향상을 달성하며, 정답 분석 결과가 없이도 효과적인 오프-정책 학습을 실현한다.

ABSTRACT

In semantic parsing for question-answering, it is often too expensive to collect gold parses or even gold answers as supervision signals. We propose to convert model outputs into a set of human-understandable statements which allow non-expert users to act as proofreaders, providing error markings as learning signals to the parser. Because model outputs were suggested by a historic system, we operate in a counterfactual, or off-policy, learning setup. We introduce new estimators which can effectively leverage the given feedback and which avoid known degeneracies in counterfactual learning, while still being applicable to stochastic gradient optimization for neural semantic parsing. Furthermore, we discuss how our feedback collection method can be seamlessly integrated into deployed virtual personal assistants that embed a semantic parser. Our work is the first to show that semantic parsers can be improved significantly by counterfactual learning from logged human feedback data.

연구 동기 및 목표

• 열린 도메인 질의응답 작업에서 정답 분석 결과나 정답을 수집하는 데 드는 높은 비용을 해결하기 위해.
• 정답 분석 결과가 아닌, 비전문가 사용자가 모델이 생성한 분석 결과에 대해 효율적이고 오류 기반 피드백을 제공할 수 있도록 하기 위해.
• 기존 시스템의 기록된 인간 피드백을 효과적으로 활용하여 목표 파서를 향상시키는 반사적 학습 프레임워크를 개발하기 위해.
• 신경망 순서-순서 모델의 미니배치 설정에서 확률적 경사 하강법 최적화를 지원하는 재가중 목표 함수를 설계하기 위해.
• 정답 분석 결과에 접근할 수 없음에도 불구하고 세밀한 토큰 수준의 피드백이 분석 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 모델 출력물을 인간이 이해할 수 있는 문장(예: '호텔이 5개 있다')으로 변환하여 비전문가 사용자가 오류가 있는 토큰을 표시할 수 있도록 한다.
• 피드백이 최적화 대상이 되는 시스템과 다른 시스템이 생성한 피드백을 기록한 오프-정책 설정에서 피드백을 수집한다.
• 피드백에 기반하여 손실 기여도를 재가중하는 새로운 목표 함수를 도입하여, 확률적 경사 하강법을 활용한 효과적인 반사적 학습을 가능하게 한다.
• 행동 정책 하에서 각 분석 결과를 생성할 확률를 고려하는 재가중 목표 함수(DPM+OSL)를 사용하여 기울기 추정치의 분산을 줄인다.
• 오류가 있는 토큰에 대해 보상 값을 적용하여 부분적으로 올바른 출력에서도 학습이 가능하도록 한다.
• 재가중된 목표 함수를 사용하여 어텐션 기반 신경망 순서-순서 모델을 훈련함으로써, 오프-정책 피드백에도 불구하고 최적화가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 정답 분석 결과가 없이도 모델이 생성한 분석 결과에 대한 인간의 피드백이 의미 분석 성능 향상에 활용될 수 있는가?
• RQ2 기록된 인간 검토 피드백에서 유래한 반사적 학습이 신경망 의미 분석 성능 향상에 상당한 기여를 할 수 있는가?
• RQ3 인간이 이해할 수 있는 문장에서 오류를 표시하는 토큰 수준의 피드백이 기존의 밴딧-서포트드(_bandit-to-supervised_) 변환 방식보다 성능을 더 좋게 만들 수 있는가?
• RQ4 재가중 목표 함수가 신경망 순서 모델의 오프-정책 설정에서 효과적인 확률적 경사 하강법 최적화를 가능하게 할 수 있는가?
• RQ5 모의 대규모 로그 환경에서 인간 피드백의 양이 증가함에 따라 성능은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 정답 분석 결과를 한 번도 보지 못한 채 오직 995개의 피드백 예제만으로도 기반 모델 대비 1.0 F1 점수 향상을 달성했다.
• 토큰 수준의 보상과 재가중을 조합한 DPM+T+OSL 목표 함수는 강력한 밴딧-서포트드(B2S) 기반 모델을 크게 능가했으며, F1 점수는 6.24점 향상되었다.
• 모의 대규모 로그 환경에서 이 방법은 기반 모델 대비 7.45점의 F1 향상을 달성하여, 더 많은 피드백이 제공될수록 성능 향상이 스케일링됨을 입증했다.
• 사용자들은 평균 16.4초 만에 전체 분석 결과에서 오류를 표시했으며, 이는 피드백 수집 방법의 효율성과 실현 가능성을 확인하는 데 기여했다.
• 재가중 목표 함수(DPM+OSL)는 반사적 학습에서 발생할 수 있는 극단적 성향을 효과적으로 완화하고, 미니배치 SGD를 통한 안정적인 훈련을 가능하게 했다.
• 토큰 수준의 피드백이 핵심이었다. 부분적 또는 굵은 피드백만을 사용하는 방법들은 전체 피드백을 활용한 방법의 성능을 따라잡지 못했다.