[논문 리뷰] Evaluating Machines by their Real-World Language Use

Rowan Zellers, Ari Holtzman외 4명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 55인용 수 15

한 줄 요약

이 논문은 언어 모델의 성능 평가를 실제 상황에서 도움이 되는 조언을 생성하는 능력으로 평가하는 것을 제안한다. 이는 동적이고 변화하는 평가를 위한 TuringAdvice와 RedditAdvice 데이터셋을 도입한다. 대규모 T5 모델을 미세조정한 결과, 생성된 조언 중 도움이 되는 정도가 인간 수준에 도달하거나 이를 초월한 경우는 오직 9%에 불과하여 기존 정적 벤치마크를 넘어서는 현재 언어 이해 능력의 격차를 드러낸다.

ABSTRACT

There is a fundamental gap between how humans understand and use language -- in open-ended, real-world situations -- and today's NLP benchmarks for language understanding. To narrow this gap, we propose to evaluate machines by their success at real-world language use -- which greatly expands the scope of language tasks that can be measured and studied. We introduce TuringAdvice, a new challenge for language understanding systems. Given a complex situation faced by a real person, a machine must generate helpful advice. We make our challenge concrete by introducing RedditAdvice, a dataset and leaderboard for measuring progress. Though we release a training set with 600k examples, our evaluation is dynamic, continually evolving with the language people use: models must generate helpful advice for recently-written situations. Empirical results show that today's models struggle at our task, even those with billions of parameters. The best model, a finetuned T5, writes advice that is at least as helpful as human-written advice in only 9% of cases. This low performance reveals language understanding errors that are hard to spot outside of a generative setting, showing much room for progress.

연구 동기 및 목표

• 실생활 맥락에서의 인간의 언어 사용과 정적 NLP 벤치마크 사이의 갈등이 점점 커지는 데 대응하기 위해.
• 실생활 언어 이해의 복잡성을 반영하는 동적이고 변화하는 평가 프레임워크를 개발하기 위해.
• 고정된 작업이 아닌, 최근에 게시된 실제 생활 상황에 대해 도움이 되는 조언을 생성하는 능력으로 언어 모델 성능을 측정하기 위해.
• 생성형이고 개방형 설정에서만 드러나는 숨겨진 언어 이해 실패를 폭 드러내기 위해.

제안 방법

• 언어 모델가 복잡한 실제 상황에 대해 도움이 되는 조언을 생성하도록 요구하는 새로운 과제인 TuringAdvice를 도입한다.
• 다양하고 개방형인 삶의 상황을 반영한 60만 개의 실제 Reddit 게시글로 구성된 RedditAdvice 데이터셋을 구축한다.
• 최근에 게시된 Reddit 콘텐츠를 지속적으로 통합하여 모델의 일반화 능력을 테스트하는 동적 평가 프로토콜을 사용한다.
• 학습 데이터에 대해 대규모 T5 모델을 미세조정하고, 랭킹 보드에서 인간이 작성한 조언과 비교하여 출력 결과를 평가한다.
• 모델 성능을 인간이 평가한 도움이 되는 정도 점수를 사용하여 측정하고, 모델이 생성한 조언을 인간의 응답과 비교한다.
• 언어 사용이 변화하는 것을 반영하여 평가를 설계하여, 모델이 현재의 실제 표현과 맥락에 적응하도록 보장한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 실제 상황에서 개방형인 상황에 대해 인간이 작성한 조언만큼 도움이 되는 조언을 생성할 수 있는가?
• RQ2 조언 생성 성능은 표준 NLP 벤치마크 성능과 비교해 볼 때 어떻게 다른가?
• RQ3 어떤 종류의 언어 이해 실패가 생성형이고 맥락에 민감한 설정에서만 드러나는가?
• RQ4 미세조정된 모델은 새로운, 최근에 게시된 실제 생활 상황에 얼마나 잘 일반화할 수 있는가?
• RQ5 동적 평가가 정적 벤치마크에서는 드러나지 않는 한계를 어떻게 드러내는가?

주요 결과

• 가장 성능이 뛰어난 모델, 즉 미세조정된 T5는 오직 9%의 경우에서 인간이 작성한 조언만큼 또는 그 이상으로 도움이 되는 조언을 생성했다.
• 수십억 파라미터를 가진 대규모 모델조차도 실제 생활 상황의 조언 생성에서 심각한 어려움을 겪고 있어, 근본적인 이해 격차가 있음을 시사한다.
• 분류나 추출 작업에서는 감지하기 어려운 언어 이해 오류들이 생성형이고 맥락에 민감한 설정에서는 명백해진다.
• 동적 평가 환경은 최근 Reddit 게시물에서 나타나는 새로운 변화하는 언어 패턴에 대해 모델이 일반화하지 못한다는 것을 드러낸다.
• 낮은 성공률는 표준 NLP 작업을 초월해 실제 생활 언어 사용을 테스트하는 새로운 벤치마크가 필요하다는 점을 강조한다.